(57)【要約】  本発明は、マルチメディア信号を効果的に再生するための信号処理方法および装置に関し、より詳しくは、複数のサブバンドを有するマルチメディア信号のフィルタリングを低演算量で実現するためのマルチメディア信号処理方法および装置に関する。このために、本発明は、複数のサブバンドを有するマルチメディア信号を受信するステップ；前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）フィルタ係数を受信するステップ；前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換するステップ；前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断するステップ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするステップ；を含むことを特徴とするマルチメディア信号処理方法およびそれを用いたマルチメディア信号処理装置を提供する。
2016534586.tif 000002
【特許請求の範囲】
【請求項１】
複数のサブバンドを有するマルチメディア信号を受信するステップ；
前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）フィルタ係数を受信するステップ；
前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換するステップ；
前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断するステップ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および
前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするステップ；
を含むことを特徴とするマルチメディア信号処理方法。
【請求項２】
前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする、請求項１に記載のマルチメディア信号処理方法。
【請求項３】
前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする、請求項１に記載のマルチメディア信号処理方法。
【請求項４】
前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする、請求項１に記載のマルチメディア信号処理方法。
【請求項５】
複数のサブバンドを有するマルチメディア信号処理装置であって、
前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）レンダリングフィルタ係数を受信し、前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換し、前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断し、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、パラメータ化部；および
前記マルチメディア信号を受信し、前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするレンダリングユニット；
を含むことを特徴とするマルチメディア信号処理装置。
【請求項６】
前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする、請求項５に記載のマルチメディア信号処理装置。
【請求項７】
前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする、請求項５に記載のマルチメディア信号処理装置。
【請求項８】
前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、
前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする、請求項５に記載のマルチメディア信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア信号を効果的に再生するための信号処理方法および装置に関し、より詳しくは、複数のサブバンドを有するマルチメディア信号のフィルタリングを低演算量で実現するためのマルチメディア信号処理方法および装置に関する。
【背景技術】
【０００２】
マルチチャネル信号をステレオで聴取するためのバイノーラルレンダリング（ｂｉｎａｕｒａｌ  ｒｅｎｄｅｒｉｎｇ）は、ターゲットフィルタの長さが増加するほど多くの演算量が求められるという問題がある。特に、録音室の特性を反映したＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタを用いる場合、その長さは４８，０００〜９６，０００サンプルに達したりもする。ここで、２２．２チャネルフォーマットのように入力チャネル数が増加すれば、その演算量は莫大である。
【０００３】
ｉ番目のチャネルの入力信号をｘi(ｎ)、該チャネルの左、右ＢＲＩＲフィルタを各々ｂiL(ｎ)、ｂiR(ｎ)、出力信号をｙL(ｎ)、ｙR(ｎ)とすれば、バイノーラルフィルタリング（ｂｉｎａｕｒａｌ  ｆｉｌｔｅｒｉｎｇ）は次のような式で表すことができる。
（数式１）
【０００４】
【数１】
2016534586.tif 000003
【０００５】
ここで、＊はコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）を意味する。上記の時間−ドメインコンボリューションは一般的に高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）に基づいた高速コンボリューション（ｆａｓｔ  ｃｏｎｖｏｌｕｔｉｏｎ）を用いて行われる。高速コンボリューションを用いてバイノーラルレンダリングを行う場合、入力チャネル数に該当する回数のＦＦＴと出力チャネル数に該当する回数の逆高速フーリエ変換（Ｉｎｖｅｒｓｅ  ＦＦＴ）を実行しなければならない。その上、マルチチャネルオーディオコーデックのようにリアルタイム再生環境の場合にディレイを考慮しなければならないため、ブロック単位（ｂｌｏｃｋ−ｗｉｓｅ）の高速コンボリューションを実行しなければならず、これは全体長さに対して単に高速コンボリューションを実行した時よりさらに多くの演算量を消耗する。
【０００６】
しかし、大半のコード体系（ｃｏｄｉｎｇ  ｓｃｈｅｍｅ）は周波数ドメインで行われ、一部のコード体系（例えば、ＨＥ−ＡＡＣ、ＵＳＡＣなど）の場合、復号化過程の最後の段階がＱＭＦドメインで行われる。よって、上記の数式１のようにバイノーラルフィルタリングが時間ドメインで行われる場合、チャネル数だけのＱＭＦ合成（ＱＭＦ  ｓｙｎｔｈｅｓｉｓ）のための演算がさらに必要であるために非常に非効率的である。よって、バイノーラルレンダリングをＱＭＦドメインにおいて直接実行する場合に利得がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、マルチチャネルあるいはマルチオブジェクト信号をステレオで再生するにおいて、原信号のような立体感を保存するためのバイノーラルレンダリングにおいて多くの演算量を必要とするフィルタリング過程を音質損失を最小化し、且つ、非常に低い演算量で実現することを目的とする。
【０００８】
また、本発明は、入力信号そのものに歪みがある場合、高品質フィルタを介して歪みの拡散が発生することを最小化することを目的とする。
【０００９】
また、本発明は、非常に長い長さを有するＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタをさらに小さい長さのフィルタに実現することを目的とする。
【００１０】
さらに、本発明は、縮約されたＦＩＲフィルタを用いたフィルタリングの実行時、抜け落ちたフィルタ係数によって損傷した部分の歪みを最小化することを目的とする。
【課題を解決するための手段】
【００１１】
前記のような課題を解決するために、本発明は、次のようなオーディオ信号処理方法およびオーディオ信号処理装置を提供する。
【００１２】
先ず、本発明は、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ；前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信するステップ、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られたサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および前記マルチオーディオ信号の各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記サブバンド信号をフィルタリングするステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
【００１３】
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記各サブバンド信号に対する直接音および初期反射音パートのレンダリングを行うための高速コンボリューション部；および前記各サブバンド信号に対する後期残響パートのレンダリングを行うための後期残響生成部を含み、前記高速コンボリューション部は前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信し、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られたサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、前記マルチオーディオ信号の各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記サブバンド信号をフィルタリングすることを特徴とするオーディオ信号処理装置を提供する。
【００１４】
この時、前記特性情報は該サブバンドフィルタ係数の第１残響時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする。
【００１５】
また、前記切断されたサブバンドフィルタの長さは２の累乗の倍数値を有することを特徴とする。
【００１６】
本発明の実施形態によれば、前記複数のサブバンドフィルタ係数および複数のサブバンド信号は各々既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループと高周波数の第２サブバンドグループとを含み、前記フィルタリングするステップは前記第１サブバンドグループの切断されたサブバンドフィルタ係数およびサブバンド信号に対して行われることを特徴とする。
【００１７】
また、本発明の実施形態によれば、前記フィルタリングするステップは該サブバンドフィルタ係数の第１残響時間情報に少なくとも部分的に基づいて切断されたフロントサブバンドフィルタ係数を用いて行われ、前記サブバンドフィルタ係数のうちの前記フロントサブバンドフィルタ係数以後の区間に対応する前記サブバンド信号の残響処理ステップをさらに含むことを特徴とする。
【００１８】
この時、前記残響処理ステップは、各サブバンドに対するダウンミックスサブバンドフィルタ係数を受信するステップ、前記ダウンミックスサブバンドフィルタ係数は該サブバンドの各チャネル別または各オブジェクト別のリヤサブバンドフィルタ係数を組み合わせて生成され、前記リヤサブバンドフィルタ係数は該サブバンドフィルタ係数のうちの前記フロントサブバンドフィルタ係数以後の区間から得られる；前記各サブバンドに対するダウンミックスサブバンド信号を生成するステップ、前記ダウンミックスサブバンド信号は該サブバンドの各チャネル別または各オブジェクト別のサブバンド信号をダウンミックスして生成される；および前記ダウンミックスサブバンド信号とそれに対応する前記ダウンミックスサブバンドフィルタ係数を用いて２チャネルの左、右サブバンド残響信号を生成するステップを含むことを特徴とする。
【００１９】
本発明の一実施形態によれば、前記ダウンミックスサブバンド信号はモノサブバンド信号であり、前記ダウンミックスサブバンドフィルタ係数は該サブバンド信号に対する残響部のエネルギー減少特性を反映し、前記フィルタリングされたモノサブバンド信号に対する非相関（ｄｅｃｏｒｒｅｌａｔｉｏｎ）信号を生成するステップ；および前記フィルタリングされたモノサブバンド信号と前記非相関信号間の加重和を行って２チャネルの左、右信号を生成するステップをさらに含むことを特徴とする。
【００２０】
本発明の他の実施形態によれば、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号を含む；前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信するステップ、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出される；前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
【００２１】
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含み、前記第１サブバンドグループの各サブバンド信号に対するレンダリングを行うための高速コンボリューション部；および前記第２サブバンドグループの各サブバンド信号に対するレンダリングを行うためのタップ−ディレイラインプロセッシング部を含み、前記タップ−ディレイラインプロセッシング部は前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信し、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出され、前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うことを特徴とするオーディオ信号処理装置を提供する。
【００２２】
この時、前記パラメータは該ＢＲＩＲサブバンドフィルタ係数に対する一つのディレイ情報および前記ディレイ情報に対応する一つのゲイン情報を含むことを特徴とする。
【００２３】
本発明の実施形態によれば、前記タップ−ディレイラインフィルタリングは前記パラメータを用いたワン−タップ−ディレイラインフィルタリングであることを特徴とする。
【００２４】
また、前記ディレイ情報は前記ＢＲＩＲサブバンドフィルタ係数のうち最大ピークに対する位置情報を示すことを特徴とする。
【００２５】
また、前記ディレイ情報はＱＭＦドメインにおいてサンプル単位の整数値を有することを特徴とする。
【００２６】
また、前記ゲイン情報は複素数値を有することを特徴とする。
【００２７】
本発明の一実施形態によれば、前記フィルタリングされたマルチオーディオ信号を各サブバンド別に２チャネルの左、右サブバンド信号に合算するステップ；前記合算された左、右サブバンド信号を前記第１サブバンドグループのマルチオーディオ信号から生成された左、右サブバンド信号と結合するステップ；および前記結合された左、右サブバンド信号を各々ＱＭＦ合成するステップ；をさらに含むことを特徴とする。
【００２８】
本発明のまた他の実施形態によれば、複数のサブバンドを有するマルチメディア信号を受信するステップ；前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）フィルタ係数を受信するステップ；前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換するステップ；前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断するステップ、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる；および前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするステップ；を含むことを特徴とするマルチメディア信号処理方法を提供する。
【００２９】
また、複数のサブバンドを有するマルチメディア信号処理装置であって、前記マルチメディア信号の各サブバンド信号のフィルタリングのための少なくとも一つの原型（ｐｒｏｔｏ−ｔｙｐｅ）レンダリングフィルタ係数を受信し、前記原型フィルタ係数を複数のサブバンドフィルタ係数に変換し、前記各サブバンドフィルタ係数を該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて切断し、少なくとも一つの前記切断されたサブバンドフィルタ係数の長さは他サブバンドの切断されたサブバンドフィルタ係数の長さと異なる、パラメータ化部；および前記マルチメディア信号を受信し、前記各サブバンド信号に対応する前記切断されたサブバンドフィルタ係数を用いて前記マルチメディア信号をフィルタリングするレンダリングユニット；を含むことを特徴とするマルチメディア信号処理装置を提供する。
【００３０】
この時、前記マルチメディア信号はマルチチャネルまたはマルチオブジェクト信号を含み、前記原型フィルタ係数は時間ドメインのＢＲＩＲフィルタ係数であることを特徴とする。
【００３１】
また、前記特性情報は該サブバンドフィルタ係数のエネルギー減衰時間情報を含み、前記フィルタ次数情報は各サブバンド別に一つの値を有することを特徴とする。
【００３２】
本発明のまた他の実施形態によれば、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号を受信するステップ、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含む；前記第１サブバンドグループの前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信するステップ、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られた第１サブバンドグループのサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められる；および前記切断されたサブバンドフィルタ係数を用いて前記第１サブバンドグループのサブバンド信号をフィルタリングするステップ；前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信するステップ、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するサブバンドフィルタ係数から抽出される；および前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うステップ；を含むことを特徴とするオーディオ信号処理方法を提供する。
【００３３】
また、マルチチャネルまたはマルチオブジェクト信号を含むマルチオーディオ信号に対するバイノーラルレンダリングを行うためのオーディオ信号処理装置であって、前記マルチオーディオ信号は各々複数のサブバンド信号を含み、前記複数のサブバンド信号は既に設定された周波数バンドを基準にした低周波数の第１サブバンドグループの信号と高周波数の第２サブバンドグループの信号とを含み、前記第１サブバンドグループの各サブバンド信号に対するレンダリングを行うための高速コンボリューション部；および前記第２サブバンドグループの各サブバンド信号に対するレンダリングを行うためのタップ−ディレイラインプロセッシング部を含み、前記高速コンボリューション部は前記第１サブバンドグループの前記マルチオーディオ信号のフィルタリングのための切断されたサブバンドフィルタ係数を受信し、前記切断されたサブバンドフィルタ係数は前記マルチオーディオ信号のバイノーラルフィルタリングのためのＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ係数から得られた第１サブバンドグループのサブバンドフィルタ係数の少なくとも一部分であり、前記切断されたサブバンドフィルタ係数の長さは該サブバンドフィルタ係数から抽出された特性情報を少なくとも部分的に用いて得られたフィルタ次数情報に基づいて決められ、前記切断されたサブバンドフィルタ係数を用いて前記第１サブバンドグループのサブバンド信号をフィルタリングし、前記タップ−ディレイラインプロセッシング部は前記第２サブバンドグループの各サブバンド信号に対応する少なくとも一つのパラメータを受信し、前記少なくとも一つのパラメータは前記第２サブバンドグループの各サブバンド信号に対応するＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）サブバンドフィルタ係数から抽出され、前記受信されたパラメータを用いて前記第２サブバンドグループのサブバンド信号に対してタップ−ディレイラインフィルタリングを行うことを特徴とするオーディオ信号処理装置を提供する。
【００３４】
この時、前記第１サブバンドグループのサブバンド信号をフィルタリングして生成された２チャネルの左、右サブバンド信号と前記第２サブバンドグループのサブバンド信号をタップ−ディレイラインフィルタリングして生成された２チャネルの左、右サブバンド信号を結合するステップ；および前記結合された左、右サブバンド信号を各々ＱＭＦ合成するステップ；をさらに含むことを特徴とする。
【発明の効果】
【００３５】
本発明の実施形態によれば、マルチチャネルあるいはマルチオブジェクト信号に対するバイノーラルレンダリングの実行時に音質の損失を最小化し、且つ、演算量を画期的に減らすことができる。
【００３６】
本発明の実施形態によれば、従来の低電力装置においてリアルタイム処理が不可能であったマルチチャネルあるいはマルチオブジェクトオーディオ信号に対する高音質のバイノーラルレンダリングが可能となるようにする。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態によるオーディオ信号デコーダを示すブロック図である。
【図２】本発明の一実施形態によるバイノーラルレンダラーの各構成を示すブロック図である。
【図３】本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。
【図４】本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。
【図５】本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。
【図６】本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。
【図７】本発明に係るオーディオ信号処理装置の様々な実施形態を示す図である。
【図８】本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。
【図９】本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。
【図１０】本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示す図である。
【図１１】本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。
【図１２】本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。
【図１３】本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。
【図１４】本発明のＰ−パートレンダリング部の様々な実施形態を示す図である。
【図１５】本発明のＱＴＤＬプロセッシングの様々な実施形態を示す図である。
【図１６】本発明のＱＴＤＬプロセッシングの様々な実施形態を示す図である。
【発明を実施するための形態】
【００３８】
本明細書で用いられる用語は本発明における機能を考慮して可能な限り現在広く用いられる一般的な用語を選択しているが、これは当分野における技術者の意図、慣例または新しい技術の出現などによって異なりうる。また、特定の場合には出願人が任意に選定した用語もあり、この場合には該発明の説明の部分でその意味を記載することにする。よって、本明細書で用いられる用語は、単純な用語の名称でなく、その用語が有した実質的な意味と本明細書の全般にわたった内容に基づいて解釈しなければならないということを明らかにしておく。
【００３９】
図１は、本発明の実施形態によるオーディオ信号デコーダを示すブロック図である。本発明のオーディオ信号デコーダは、コアデコーダ１０、レンダリングユニット２０、ミキサー３０、およびポストプロセッシングユニット４０を含む。
【００４０】
先ず、コアデコーダ１０は、スピーカ（ｌｏｕｄｓｐｅａｋｅｒ）チャネル信号、個別（ｄｉｓｃｒｅｔｅ）オブジェクト信号、オブジェクトダウンミックス信号および事前−レンダリングされた（ｐｒｅ−ｒｅｎｄｅｒｅｄ）信号などを復号化する。一実施形態によれば、前記コアデコーダ１０においては、ＵＳＡＣ（Ｕｎｉｆｉｅｄ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）ベースのコーデックが用いられることができる。コアデコーダ１０は、受信されたビットストリームを復号化してレンダリングユニット２０に伝達する。
【００４１】
レンダリングユニット２０は、コアデコーダ１０によって復号化された信号を再生レイアウト（ｒｅｐｒｏｄｕｃｔｉｏｎ  ｌａｙｏｕｔ）情報を用いてレンダリングする。レンダリングユニット２０は、フォーマットコンバータ２２、オブジェクトレンダラー２４、ＯＡＭデコーダ２５、ＳＡＯＣデコーダ２６およびＨＯＡデコーダ２８を含むことができる。レンダリングユニット２０は、復号化された信号のタイプに応じて前記構成のうちいずれか一つを用いてレンダリングを行う。
【００４２】
フォーマットコンバータ２２は、送信されたチャネル信号を出力スピーカチャネル信号に変換する。すなわち、フォーマットコンバータ２２は、送信されたチャネル構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）と再生しようとするスピーカチャネル構成間の変換を行う。仮に、出力スピーカチャネルの個数（例えば、５．１チャネル）が送信されたチャネルの個数（例えば、２２．２チャネル）より少ないかまたは送信されたチャネル構成と再生しようとするチャネル構成が異なる場合、フォーマットコンバータ２２は送信されたチャネル信号に対するダウンミックスを行う。本発明のオーディオ信号デコーダは、入力チャネル信号と出力スピーカチャネル信号間の組み合わせを用いて最適のダウンミックスマトリックスを生成し、前記マトリックスを用いてダウンミックスを行うことができる。本発明の実施形態によれば、フォーマットコンバータ２２が処理するチャネル信号には事前−レンダリングされたオブジェクト信号が含まれることができる。一実施形態によれば、オーディオ信号の符号化前に少なくとも一つのオブジェクト信号が事前−レンダリングされてチャネル信号にミックス（ｍｉｘ）できる。このようにミックスされたオブジェクト信号は、チャネル信号と共にフォーマットコンバータ２２によって出力スピーカチャネル信号に変換されることができる。
【００４３】
オブジェクトレンダラー２４およびＳＡＯＣデコーダ２６は、オブジェクトベースのオーディオ信号に対するレンダリングを行う。オブジェクトベースのオーディオ信号には、個別オブジェクトウェーブフォームとパラメトリックオブジェクトウェーブフォームが含まれることができる。個別オブジェクトウェーブフォームの場合、各オブジェクト信号はモノフォニック（ｍｏｎｏｐｈｏｎｉｃ）ウェーブフォームでエンコーダに提供され、エンコーダは単一チャネルエレメント（Ｓｉｎｇｌｅ  Ｃｈａｎｎｅｌ  Ｅｌｅｍｅｎｔｓ、ＳＣＥｓ）を用いて各オブジェクト信号を送信する。パラメトリックオブジェクトウェーブフォームの場合、複数のオブジェクト信号が少なくとも一つのチャネル信号にダウンミックスされ、各オブジェクトの特徴とこれら間の関係がＳＡＯＣ（Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ）パラメータで表現される。オブジェクト信号はダウンミックスされてコアコーデックで符号化され、この時に生成されるパラメトリック情報が共にデコーダに送信される。
【００４４】
一方、個別オブジェクトウェーブフォームまたはパラメトリックオブジェクトウェーブフォームがオーディオ信号デコーダに送信される時、それに対応する圧縮されたオブジェクトメタデータが共に送信されることができる。オブジェクトメタデータは、オブジェクト属性を時間と空間単位で量子化して３次元空間における各オブジェクトの位置およびゲイン値を指定する。レンダリングユニット２０のＯＡＭデコーダ２５は圧縮されたオブジェクトメタデータを受信し、それを復号化してオブジェクトレンダラー２４および／またはＳＡＯＣデコーダ２６に伝達する。
【００４５】
オブジェクトレンダラー２４は、オブジェクトメタデータを用いて各オブジェクト信号を与えられた再生フォーマットに応じてレンダリングする。この時、各オブジェクト信号は、オブジェクトメタデータに基づいて特定の出力チャネルにレンダリングされることができる。ＳＡＯＣデコーダ２６は、復号化されたＳＡＯＣ送信チャネルとパラメトリック情報からオブジェクト／チャネル信号を復元する。前記ＳＡＯＣデコーダ２６は、再生レイアウト情報とオブジェクトメタデータに基づいて出力オーディオ信号を生成することができる。このように、オブジェクトレンダラー２４およびＳＡＯＣデコーダ２６はオブジェクト信号をチャネル信号にレンダリングすることができる。
【００４６】
ＨＯＡデコーダ２８は、ＨＯＡ（Ｈｉｇｈｅｒ  Ｏｒｄｅｒ  Ａｍｂｉｓｏｎｉｃｓ）信号およびＨＯＡ付加情報を受信し、それを復号化する。ＨＯＡデコーダ２８は、チャネル信号やオブジェクト信号を別途の数式でモデリングしてサウンドシーン（ｓｏｕｎｄ  ｓｃｅｎｅ）を生成する。生成されたサウンドシーンにおいてスピーカがある空間上の位置を選択すれば、スピーカチャネル信号にレンダリングが行われることができる。
【００４７】
一方、図１には示されていないが、レンダリングユニット２０の各構成要素にオーディオ信号が伝達される時、前処理過程としてダイナミックレンジ制御（Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｎｔｒｏｌ、ＤＲＣ）が行われることができる。ＤＲＣは再生するオーディオ信号の動的範囲を一定レベルに制限することであり、既に設定された閾値（ｔｈｒｅｓｈｏｌｄ）より小さい音はより大きく、既に設定された閾値より大きい音はより小さく調整する。
【００４８】
レンダリングユニット２０によって処理されたチャネルベースのオーディオ信号およびオブジェクトベースのオーディオ信号はミキサー３０に伝達される。ミキサー３０は、チャネルベースのウェーブフォームとレンダリングされたオブジェクトウェーブフォームのディレイ（ｄｅｌａｙ）を調整し、それをサンプル単位で合算する。ミキサー３０によって合算されたオーディオ信号はポストプロセッシングユニット４０に伝達される。
【００４９】
ポストプロセッシングユニット４０は、スピーカレンダラー１００とバイノーラルレンダラー２００とを含む。スピーカレンダラー１００は、ミキサー３０から伝達されたマルチチャネルおよび／またはマルチオブジェクトオーディオ信号を出力するためのポストプロセッシングを行う。このようなポストプロセッシングには、ダイナミックレンジ制御（ＤＲＣ）、音量正規化（Ｌｏｕｄｎｅｓｓ  Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＬＮ）およびピークリミッタ（Ｐｅａｋ  Ｌｉｍｉｔｅｒ、ＰＬ）などが含まれることができる。
【００５０】
バイノーラルレンダラー２００は、マルチチャネルおよび／またはマルチオブジェクトオーディオ信号のバイノーラルダウンミックス信号を生成する。バイノーラルダウンミックス信号は、各入力チャネル／オブジェクト信号が３次元上に位置した仮想の音源によって表現されるようにする２チャネルのオーディオ信号である。バイノーラルレンダラー２００は、スピーカレンダラー１００に供給されるオーディオ信号を入力信号として受信することができる。バイノーラルレンダリングはＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタに基づいて行われ、時間ドメインまたはＱＭＦドメイン上で行われることができる。実施形態によれば、バイノーラルレンダリングの後処理過程として、前述したダイナミックレンジ制御（ＤＲＣ）、音量正規化（ＬＮ）およびピークリミッタ（ＰＬ）などがさらに行われることができる。
【００５１】
図２は、本発明の一実施形態によるバイノーラルレンダラーの各構成を示すブロック図である。図示したように、本発明の実施形態によるバイノーラルレンダラー２００は、ＢＲＩＲパラメータ化部２１０、高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびミキサー＆コンバイナ２６０を含むことができる。
【００５２】
バイノーラルレンダラー２００は、様々なタイプの入力信号に対するバイノーラルレンダリングを行って、３Ｄオーディオヘッドホン信号（すなわち、３Ｄオーディオ２チャネル信号）を生成する。この時、入力信号は、チャネル信号（すなわち、スピーカチャネル信号）、オブジェクト信号およびＨＯＡ信号のうち少なくとも一つを含むオーディオ信号であってもよい。本発明の他の実施形態によれば、バイノーラルレンダラー２００が別途のデコーダを含む場合、前記入力信号は、前述したオーディオ信号の符号化されたビットストリームであってもよい。バイノーラルレンダリングは、復号化された入力信号をバイノーラルダウンミックス信号に変換して、ヘッドホンで聴取時にサラウンド音響を体験することができるようにする。
【００５３】
本発明の実施形態によれば、バイノーラルレンダラー２００は、入力信号に対するバイノーラルレンダリングをＱＭＦドメイン上で行うことができる。例えば、バイノーラルレンダラー２００は、ＱＭＦドメインのマルチチャネル（Ｎ  ｃｈａｎｎｅｌｓ）信号を受信し、ＱＭＦドメインのＢＲＩＲサブバンドフィルタを用いて前記マルチチャネル信号に対するバイノーラルレンダリングを行うことができる。ＱＭＦ分析フィルタバンクを通過したｉ番目のチャネルのｋ番目のサブバンド（ｓｕｂｂａｎｄ）信号をｘk,i(ｌ)、サブバンドドメインにおける時間インデックスをｌとすれば、ＱＭＦドメインにおけるバイノーラルレンダリングは次のような式で表すことができる。
（数式２）
【００５４】
【数２】
2016534586.tif 000004
【００５５】
ここで、ｍ∈{L,R}であり、ｂk,im(ｌ)は時間ドメインＢＲＩＲフィルタをＱＭＦドメインのサブバンドフィルタに変換したものである。
【００５６】
すなわち、バイノーラルレンダリングは、ＱＭＦドメインのチャネル信号またはオブジェクト信号を複数のサブバンド信号に分け、各サブバンド信号をそれに対応するＢＲＩＲサブバンドフィルタとコンボリューションした後に合算する方法により行われることができる。
【００５７】
ＢＲＩＲパラメータ化部２１０は、ＱＭＦドメインにおけるバイノーラルレンダリングのためにＢＲＩＲフィルタ係数を変換および編集し、各種パラメータを生成する。先ず、ＢＲＩＲパラメータ化部２１０は、マルチチャネルまたはマルチオブジェクトに対する時間ドメインＢＲＩＲフィルタ係数を受信し、それをＱＭＦドメインＢＲＩＲフィルタ係数に変換する。この時、ＱＭＦドメインＢＲＩＲフィルタ係数は、複数の周波数バンドに各々対応する複数のサブバンドフィルタ係数を含む。本発明において、サブバンドフィルタ係数は、ＱＭＦ変換されたサブバンドドメインの各ＢＲＩＲフィルタ係数を示す。本明細書において、サブバンドフィルタ係数はＢＲＩＲサブバンドフィルタ係数と称することもできる。ＢＲＩＲパラメータ化部２１０は、ＱＭＦドメインの複数のＢＲＩＲサブバンドフィルタ係数を各々編集し、編集されたサブバンドフィルタ係数を高速コンボリューション部２３０などに伝達することができる。本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０はバイノーラルレンダラー２００の一構成要素として含まれてもよく、別途の装置として備えられてもよい。一実施形態によれば、ＢＲＩＲパラメータ化部２１０を除いた高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびミキサー＆コンバイナ２６０を含む構成がバイノーラルレンダリングユニット２２０に分類されることができる。
【００５８】
一実施形態によれば、ＢＲＩＲパラメータ化部２１０は、仮想再生空間の少なくとも一つの位置に対応するＢＲＩＲフィルタ係数を入力として受信することができる。前記仮想再生空間の各位置はマルチチャネルシステムの各スピーカ位置に対応する。一実施形態によれば、ＢＲＩＲパラメータ化部２１０が受信した各ＢＲＩＲフィルタ係数は、バイノーラルレンダラー２００の入力信号の各チャネルまたは各オブジェクトに直接マッチングされることができる。その反面、本発明の他の実施形態によれば、前記受信された各ＢＲＩＲフィルタ係数は、バイノーラルレンダラー２００の入力信号に独立した構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）を有することができる。すなわち、ＢＲＩＲパラメータ化部２１０が受信したＢＲＩＲフィルタ係数のうち少なくとも一部はバイノーラルレンダラー２００の入力信号に直接マッチングされなくてもよく、受信されたＢＲＩＲフィルタ係数の個数は入力信号のチャネルおよび／またはオブジェクトの総数より小さいか大きくてもよい。
【００５９】
本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、バイノーラルレンダラー２００の入力信号の各チャネルまたは各オブジェクトに対応するＢＲＩＲフィルタ係数を変換および編集してバイノーラルレンダリングユニット２２０に伝達することができる。前記対応するＢＲＩＲフィルタ係数は、各チャネルまたは各オブジェクトに対するマッチングＢＲＩＲまたはフォールバック（ｆａｌｌｂａｃｋ）ＢＲＩＲであってもよい。ＢＲＩＲマッチングは、仮想再生空間上で各チャネルまたは各オブジェクトの位置をターゲットとするＢＲＩＲフィルタ係数が存在するか否かによって決定される。仮に、入力信号の各チャネルまたは各オブジェクトの位置のうち少なくとも一つをターゲットとするＢＲＩＲフィルタ係数が存在する場合、該ＢＲＩＲフィルタ係数は入力信号のマッチングＢＲＩＲであってもよい。しかし、特定チャネルまたはオブジェクトの位置をターゲットとするＢＲＩＲフィルタ係数が存在しない場合、バイノーラルレンダリングユニット２２０は該チャネルまたはオブジェクトと最も類似する位置をターゲットとするＢＲＩＲフィルタ係数を該チャネルまたはオブジェクトに対するフォールバックＢＲＩＲとして提供することができる。
【００６０】
一方、本発明の他の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、受信されたＢＲＩＲフィルタ係数の全体を変換および編集してバイノーラルレンダリングユニット２２０に伝達することができる。この時、入力信号の各チャネルまたは各オブジェクトに対応するＢＲＩＲフィルタ係数（または、編集されたＢＲＩＲフィルタ係数）の選別作業は、バイノーラルレンダリングユニット２２０で行われることができる。
【００６１】
バイノーラルレンダリングユニット２２０は高速コンボリューション部２３０、後期残響生成部２４０およびＱＴＤＬプロセッシング部２５０を含み、マルチチャネルおよび／またはマルチオブジェクト信号を含むマルチオーディオ信号を受信する。本明細書では、マルチチャネルおよび／またはマルチオブジェクト信号を含む入力信号をマルチオーディオ信号と称することにする。図２では一実施形態によりバイノーラルレンダリングユニット２２０がＱＭＦドメインのマルチチャネル信号を受信するものとして示されているが、バイノーラルレンダリングユニット２２０の入力信号には時間ドメインマルチチャネル信号およびマルチオブジェクト信号などが含まれることができる。また、バイノーラルレンダリングユニット２２０が別途のデコーダをさらに含む場合、前記入力信号は前記マルチオーディオ信号の符号化されたビットストリームであってもよい。それに加え、本明細書ではマルチオーディオ信号に対するＢＲＩＲレンダリングを行うケースを基準に本発明を説明するが、本発明はこれに限定されるものではない。すなわち、本発明で提供する特徴はＢＲＩＲでない他種類のレンダリングフィルタに適用されてもよく、マルチオーディオ信号でない単一チャネルまたは単一オブジェクトのオーディオ信号に対して適用されてもよい。
【００６２】
高速コンボリューション部２３０は、入力信号とＢＲＩＲフィルタ間の高速コンボリューションを行って、入力信号に対する直接音（ｄｉｒｅｃｔ  ｓｏｕｎｄ）と初期反射音（ｅａｒｌｙ  ｒｅｆｌｅｃｔｉｏｎ）を処理する。このために、高速コンボリューション部２３０は、切断された（ｔｒｕｎｃａｔｅｄ）ＢＲＩＲを用いて高速コンボリューションを行うことができる。切断されたＢＲＩＲは各サブバンド周波数に従属的に切断された複数のサブバンドフィルタ係数を含み、ＢＲＩＲパラメータ化部２１０によって生成される。この時、各切断されたサブバンドフィルタ係数の長さは該サブバンドの周波数に従属的に決定される。高速コンボリューション部２３０は、サブバンドに応じて互いに異なる長さを有する切断されたサブバンドフィルタ係数を用いることによって、周波数ドメインにおける可変次数（ｖａｒｉａｂｌｅ  ｏｒｄｅｒ）フィルタリングを行うことができる。すなわち、各周波数バンド別にＱＭＦドメインサブバンドオーディオ信号とそれに対応するＱＭＦドメインの切断されたサブバンドフィルタ間の高速コンボリューションが行われることができる。本明細書において、直接音および初期反射音（Ｄｉｒｅｃｔ  ｓｏｕｎｄ  ＆  Ｅａｒｌｙ  ｒｅｆｌｅｃｔｉｏｎ、Ｄ＆Ｅ）パートはＦ（ｆｒｏｎｔ）−パートと称することができる。
【００６３】
後期残響生成部２４０は、入力信号に対する後期残響（ｌａｔｅ  ｒｅｖｅｒｂｅｒａｔｉｏｎ）信号を生成する。後期残響信号は、高速コンボリューション部２３０で生成された直接音および初期反射音以後の出力信号を示す。後期残響生成部２４０は、ＢＲＩＲパラメータ化部２１０から伝達された各サブバンドフィルタ係数から決定された残響時間情報に基づいて入力信号を処理することができる。本発明の実施形態によれば、後期残響生成部２４０は、入力オーディオ信号に対するモノまたはステレオダウンミックス信号を生成し、生成されたダウンミックス信号に対する後期残響処理を行うことができる。本明細書において、後期残響（Ｌａｔｅ  Ｒｅｖｅｒｂｅｒａｔｉｏｎ、ＬＲ）パートはＰ（ｐａｒａｍｅｔｒｉｃ）−パートと称することができる。
【００６４】
ＱＴＤＬ（ＱＭＦ  ｄｏｍａｉｎ  Ｔａｐｐｅｄ  Ｄｅｌａｙ  Ｌｉｎｅ）プロセッシング部２５０は、入力オーディオ信号のうちの高周波数バンドの信号を処理する。ＱＴＤＬプロセッシング部２５０は、高周波数バンドの各サブバンド信号に対応する少なくとも一つのパラメータをＢＲＩＲパラメータ化部２１０から受信し、受信されたパラメータを用いてＱＭＦドメインにおいてタップ−ディレイラインフィルタリングを行う。本発明の実施形態によれば、バイノーラルレンダラー２００は既に設定された定数または既に設定された周波数バンドに基づいて入力オーディオ信号を低周波数バンド信号と高周波数バンド信号に分離し、低周波数バンド信号は高速コンボリューション部２３０および後期残響生成部２４０において、高周波数バンド信号はＱＴＤＬプロセッシング部２５０において各々処理することができる。
【００６５】
高速コンボリューション部２３０、後期残響生成部２４０およびＱＴＤＬプロセッシング部２５０は、各々２チャネルのＱＭＦドメインサブバンド信号を出力する。ミキサー＆コンバイナ２６０は、高速コンボリューション部２３０の出力信号、後期残響生成部２４０の出力信号、およびＱＴＤＬプロセッシング部２５０の出力信号を結合してミキシングを行う。この時、出力信号の結合は、２チャネルの左、右出力信号に対して各々別途に行われる。バイノーラルレンダラー２００は、結合された出力信号をＱＭＦ合成して時間ドメインの最終出力オーディオ信号を生成する。
【００６６】
以下、各図面を参照して図２の高速コンボリューション部２３０、後期残響生成部２４０、ＱＴＤＬプロセッシング部２５０、およびこれらの組み合わせに対する様々な実施形態を具体的に説明する。
【００６７】
図３〜図７は、本発明に係るオーディオ信号処理装置の様々な実施形態を示している。本発明において、オーディオ信号処理装置は、狭義の意味としては、図２に示されたバイノーラルレンダラー２００またはバイノーラルレンダリングユニット２２０を指し示すことができる。しかし、本発明において、オーディオ信号処理装置は、広義の意味としては、バイノーラルレンダラーを含む図１のオーディオ信号デコーダを指し示すことができる。図３〜図７に示された各バイノーラルレンダラーは、説明の便宜のため、図２に示されたバイノーラルレンダラー２００の一部構成だけを示すことができる。また、以下、本明細書ではマルチチャネル入力信号に対する実施形態を主に記述するが、別途の言及がない場合、チャネル、マルチチャネルおよびマルチチャネル入力信号は各々オブジェクト、マルチオブジェクトおよびマルチオブジェクト入力信号を含む概念として用いられることができる。それのみならず、マルチチャネル入力信号は、ＨＯＡ復号およびレンダリングされた信号を含む概念として用いられることもできる。
【００６８】
図３は、本発明の一実施形態によるバイノーラルレンダラー２００Ａを示している。ＢＲＩＲを用いたバイノーラルレンダリングを一般化すれば、Ｍ個のチャネルを有するマルチチャネルの入力信号に対してＯ個の出力信号を得るためのＭ−ｔｏ−Ｏプロセッシングである。バイノーラルフィルタリングは、この過程で各々の入力チャネルと出力チャネルに対応するフィルタ係数を用いたフィルタリングとみなすことができる。図３において、原本フィルタセットＨは、各チャネル信号のスピーカ位置から左、右の耳の位置までの伝達関数を意味する。このような伝達関数中、一般的な聴音空間、すなわち、残響がある空間で測定したものをＢｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ（ＢＲＩＲ）と呼ぶ。その反面、再生空間の影響がないように無響室で測定したものをＨｅａｄ  Ｒｅｌａｔｅｄ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ（ＨＲＩＲ）といい、それに対する伝達関数をＨｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ（ＨＲＴＦ）と呼ぶ。よって、ＢＲＩＲは、ＨＲＴＦとは異なり、方向情報だけでなく、再生空間の情報を共に含んでいる。一実施形態によれば、ＨＲＴＦと人工残響器（ａｒｔｉｆｉｃｉａｌ  ｒｅｖｅｒｂｅｒａｔｏｒ）を用いてＢＲＩＲを代えることもできる。本明細書ではＢＲＩＲを用いたバイノーラルレンダリングについて説明するが、本発明はこれに限定されず、様々な形態のＦＩＲフィルタを用いたバイノーラルレンダリングにも同様に適用可能である。一方、ＢＲＩＲは前述したように９６Ｋ個のサンプル長さを有することができ、マルチチャネルバイノーラルレンダリングはＭ＊Ｏ個の互いに異なるフィルタを用いて行われるので高演算量の処理過程が要求される。
【００６９】
本発明の実施形態によれば、ＢＲＩＲパラメータ化部２１０は、演算量の最適化のために原本フィルタセットＨから変形されたフィルタ係数を生成することができる。ＢＲＩＲパラメータ化部２１０は、原本フィルタ係数をＦ（ｆｒｏｎｔ）−パート係数とＰ（ｐａｒａｍｅｔｒｉｃ）−パート係数に分離する。ここで、Ｆ−パートは直接音および初期反射音（Ｄ＆Ｅ）パートを示し、Ｐ−パートは後期残響（ＬＲ）パートを示す。例えば、９６Ｋサンプル長さを有する原本フィルタ係数は前の４Ｋサンプルまでだけを切断したＦ−パートと、残りの９２Ｋサンプルに対応する部分であるＰ−パートに各々分離することができる。
【００７０】
バイノーラルレンダリングユニット２２０は、ＢＲＩＲパラメータ化部２１０からＦ−パート係数およびＰ−パート係数を各々受信し、それを用いてマルチチャネル入力信号をレンダリングする。本発明の実施形態によれば、図２に示された高速コンボリューション部２３０はＢＲＩＲパラメータ化部２１０から受信されたＦ−パート係数を用いてマルチオーディオ信号をレンダリングし、後期残響生成部２４０はＢＲＩＲパラメータ化部２１０から受信されたＰ−パート係数を用いてマルチオーディオ信号をレンダリングすることができる。すなわち、高速コンボリューション部２３０と後期残響生成部２４０は、各々、本発明のＦ−パートレンダリング部とＰ−パートレンダリング部に対応する。一実施形態によれば、Ｆ−パートレンダリング（Ｆ−パート係数を用いたバイノーラルレンダリング）は通常のＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタで実現され、Ｐ−パートレンダリング（Ｐ−パート係数を用いたバイノーラルレンダリング）はパラメトリックな方法で実現されることができる。一方、ユーザーまたは制御システムによって提供される複雑度−クォリティー制御入力は、Ｆ−パートおよび／またはＰ−パートに生成される情報を決めるのに用いられることができる。
【００７１】
図４は、本発明の他の実施形態によるバイノーラルレンダラー２００Ｂであり、Ｆ−パートレンダリングを実現するより詳細な方法を示している。説明の便宜のため、図４ではＰ−パートレンダリング部は省略した。また、図４ではＱＭＦドメインで実現されたフィルタを示しているが、本発明はこれに限定されず、他ドメインのサブバンドプロセッシングに全て適用可能である。
【００７２】
図４を参照すれば、Ｆ−パートレンダリングは、ＱＭＦドメイン上で高速コンボリューション部２３０によって行われることができる。ＱＭＦドメイン上におけるレンダリングのために、ＱＭＦ分析部２２２は、時間ドメイン入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１をＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１に変換する。この時、入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１はマルチチャネルオーディオ信号、例えば、２２．２チャネルスピーカに対応するチャネル信号であってもよい。ＱＭＦドメインは全６４個のサブバンドを用いることができるが、本発明はこれに限定されるものではない。一方、本発明の一実施形態によれば、ＱＭＦ分析部２２２は、バイノーラルレンダラー２００Ｂにおいて省略されてもよい。ＳＢＲ（Ｓｐｅｃｔｒａｌ  Ｂａｎｄ  Ｒｅｐｌｉｃａｔｉｏｎ）を用いるＨＥ−ＡＡＣやＵＳＡＣの場合、ＱＭＦドメインにおいてプロセッシングを行うため、バイノーラルレンダラー２００Ｂは、ＱＭＦ分析なしで直ちにＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１を入力として受信することができる。よって、このようにＱＭＦドメイン信号を直接入力として受信する場合、本発明に係るバイノーラルレンダラーにおいて用いるＱＭＦは、以前処理部（例えば、ＳＢＲ）において用いるＱＭＦと同一であることを特徴とする。ＱＭＦ合成部２４４は、バイノーラルレンダリングが行われた２チャネルの左、右信号Ｙ＿Ｌ、Ｙ＿ＲをＱＭＦ合成して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
【００７３】
図５〜図７は、各々、Ｆ−パートレンダリングとＰ−パートレンダリングを共に行うバイノーラルレンダラー２００Ｃ，２００Ｄ，２００Ｅの実施形態を示している。図５〜図７の実施形態において、Ｆ−パートレンダリングはＱＭＦドメイン上で高速コンボリューション部２３０によって行われ、Ｐ−パートレンダリングはＱＭＦドメインまたは時間ドメイン上で後期残響生成部２４０によって行われる。図５〜図７の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
【００７４】
図５を参照すれば、バイノーラルレンダラー２００Ｃは、Ｆ−パートレンダリングおよびＰ−パートレンダリングを全てＱＭＦドメインにおいて行うことができる。すなわち、バイノーラルレンダラー２００ＣのＱＭＦ分析部２２２は、時間ドメイン入力信号ｘ０、ｘ１、…ｘ＿Ｍ−１をＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１に変換して、各々、高速コンボリューション部２３０および後期残響生成部２４０に伝達する。高速コンボリューション部２３０および後期残響生成部２４０は、ＱＭＦドメイン信号Ｘ０、Ｘ１、…Ｘ＿Ｍ−１をレンダリングして、各々、２チャネルの出力信号Ｙ＿Ｌ、Ｙ＿ＲおよびＹ＿Ｌｐ、Ｙ＿Ｒｐを生成する。この時、高速コンボリューション部２３０および後期残響生成部２４０は、ＢＲＩＲパラメータ化部２１０によって受信したＦ−パートフィルタ係数およびＰ−パートフィルタ係数を各々用いてレンダリングを行うことができる。Ｆ−パートレンダリングの出力信号Ｙ＿Ｌ、Ｙ＿ＲとＰ−パートレンダリングの出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐは、ミキサー＆コンバイナ２６０において左、右チャネル別に結合されてＱＭＦ合成部２２４に伝達される。ＱＭＦ合成部２２４は、入力された２チャネルの左、右信号をＱＭＦ合成して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
【００７５】
図６を参照すれば、バイノーラルレンダラー２００Ｄは、ＱＭＦドメインにおいてＦ−パートレンダリングを、時間ドメインにおいてＰ−パートレンダリングを各々行うことができる。バイノーラルレンダラー２００ＤのＱＭＦ分析部２２２は、時間ドメイン入力信号をＱＭＦ変換して高速コンボリューション部２３０に伝達する。高速コンボリューション部２３０は、ＱＭＦドメイン信号をＦ−パートレンダリングして２チャネルの出力信号Ｙ＿Ｌ、Ｙ＿Ｒを生成する。ＱＭＦ合成部２２４は、Ｆ−パートレンダリングの出力信号を時間ドメイン出力信号に変換してミキサー＆コンバイナ２６０に伝達する。一方、後期残響生成部２４０は、時間ドメイン入力信号を直接受信してＰ−パートレンダリングを行う。Ｐ−パートレンダリングの出力信号ｙＬｐ、ｙＲｐは、ミキサー＆コンバイナ２６０に伝達される。ミキサー＆コンバイナ２６０は、時間ドメイン上でＦ−パートレンダリング出力信号およびＰ−パートレンダリング出力信号を各々結合して時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
【００７６】
図５と図６の実施形態ではＦ−パートレンダリングおよびＰ−パートレンダリングが各々並列（ｐａｒａｌｌｅｌ）に行われる反面、図７の実施形態によれば、バイノーラルレンダラー２００ＥはＦ−パートレンダリングとＰ−パートレンダリングを各々順次（ｓｅｑｕｅｎｔｉａｌ）に行うことができる。すなわち、高速コンボリューション部２３０はＱＭＦ変換された入力信号をＦ−パートレンダリングし、Ｆ−パートレンダリングされた２チャネル信号Ｙ＿Ｌ、Ｙ＿ＲはＱＭＦ合成部２２４において時間ドメイン信号に変換された後、後期残響生成部２４０に伝達される。後期残響生成部２４０は、入力された２チャネル信号に対するＰ−パートレンダリングを行って、時間ドメインの２チャネル出力オーディオ信号ｙＬ、ｙＲを生成する。
【００７７】
図５〜図７は各々Ｆ−パートレンダリングとＰ−パートレンダリングを行う一実施形態を示すものであり、各図面の実施形態を組み合わせまたは変形してバイノーラルレンダリングを行うことができる。例えば、各実施形態において、バイノーラルレンダラーは入力されたマルチオーディオ信号の各々に対して個別的にＰ−パートレンダリングを行うこともできるが、入力信号を２チャネルの左、右信号またはモノ信号にダウンミックスした後にダウンミックス信号に対するＰ−パートレンダリングを行うこともできる。
【００７８】
＜周波数ドメイン可変次数フィルタリング（Ｖａｒｉａｂｌｅ  Ｏｒｄｅｒ  Ｆｉｌｔｅｒｉｎｇ  ｉｎ  Ｆｒｅｑｕｅｎｃｙ−ｄｏｍａｉｎ、ＶＯＦＦ）＞
図８〜図１０は、本発明の実施形態によるバイノーラルレンダリングのためのＦＩＲフィルタ生成方法を示している。本発明の実施形態によれば、ＱＭＦドメインにおけるバイノーラルレンダリングのために、ＱＭＦドメインの複数のサブバンドフィルタに変換されたＦＩＲフィルタが用いられることができる。この時、Ｆ−パートレンダリングには、各サブバンド周波数に従属的に切断されたサブバンドフィルタが用いられることができる。すなわち、バイノーラルレンダラーの高速コンボリューション部は、サブバンドに応じて互いに異なる長さを有する切断されたサブバンドフィルタを用いることによって、ＱＭＦドメインにおける可変次数フィルタリングを行うことができる。以下で説明する図８〜図１０のフィルタ生成の実施形態は図２のＢＲＩＲパラメータ化部２１０によって行われることができる。
【００７９】
図８は、バイノーラルレンダリングに用いられるＱＭＦドメインフィルタの各ＱＭＦバンドに応じた長さの一実施形態を示している。図８の実施形態において、ＦＩＲフィルタはＩ個のＱＭＦサブバンドフィルタに変換され、ＦｉはＱＭＦサブバンドｉの切断されたサブバンドフィルタを示す。ＱＭＦドメインは全６４個のサブバンドを用いることができるが、本発明はこれに限定されるものではない。また、Ｎは原本サブバンドフィルタの長さ（タップ数）を示し、切断されたサブバンドフィルタの長さは各々Ｎ１、Ｎ２、Ｎ３で示す。この時、長さＮ、Ｎ１、Ｎ２およびＮ３はダウンサンプルされたＱＭＦドメインにおけるタップ数を示す。
【００８０】
本発明の実施形態によれば、各サブバンドに応じて互いに異なる長さ（Ｎ１、Ｎ２、Ｎ３）を有する切断されたサブバンドフィルタがＦ−パートレンダリングに用いられることができる。この時、切断されたサブバンドフィルタは原本サブバンドフィルタにおいて切断された前部（ｆｒｏｎｔ）のフィルタであり、フロントサブバンドフィルタと称することができる。また、原本サブバンドフィルタの切断以後の後部（ｒｅａｒ）はリヤサブバンドフィルタと称することができ、Ｐ−パートレンダリングに用いられることができる。
【００８１】
ＢＲＩＲフィルタを用いたレンダリングの場合、各サブバンド別のフィルタ次数（すなわち、フィルタ長さ）は、原本ＢＲＩＲフィルタから抽出されたパラメータ、例えば、各サブバンドフィルタ別の残響時間（Ｒｅｖｅｒｂｅｒａｔｉｏｎ  Ｔｉｍｅ、ＲＴ）情報、ＥＤＣ（Ｅｎｅｒｇｙ  Ｄｅｃａｙ  Ｃｕｒｖｅ）値、エネルギー減衰時間情報などに基づいて決定されることができる。各周波数別に空気中での減衰、壁および天井の材質に応じた吸音程度が異なる音響的な特性のため、残響時間は周波数に応じて互いに異なりうる。一般的には、低周波数の信号であるほど残響時間が長いという特性を有する。残響時間が長ければ、ＦＩＲフィルタの後部に多くの情報が残っていることを意味するため、該フィルタを長く切断して用いることが残響情報を正しく伝達するのに好ましい。よって、本発明の各切断されたサブバンドフィルタの長さは、該サブバンドフィルタから抽出された特性情報（例えば、残響時間情報）に少なくとも部分的に基づいて決定される。
【００８２】
切断されたサブバンドフィルタの長さは様々な実施形態に応じて決定されることができる。先ず、一実施形態によれば、各サブバンドは複数のグループに分類され、分類されたグループに応じて各切断されたサブバンドフィルタの長さが決定されることができる。図８の例示によれば、各サブバンドは３つの区域（Ｚｏｎｅ  １、Ｚｏｎｅ  ２、Ｚｏｎｅ  ３）に分類されることができ、低周波数に該当するＺｏｎｅ  １の切断されたサブバンドフィルタは高周波数に該当するＺｏｎｅ  ２およびＺｏｎｅ  ３の切断されたサブバンドフィルタより長いフィルタ次数（すなわち、フィルタ長さ）を有することができる。また、高周波数の区域に行くほど、該当区域の切断されたサブバンドフィルタのフィルタ次数は次第に減る。
【００８３】
本発明の他の実施形態によれば、各切断されたサブバンドフィルタの長さは、原本サブバンドフィルタの特性情報に応じて各サブバンド別に独立におよび可変的に決定されることができる。各切断されたサブバンドフィルタの長さは該サブバンドで決定された切断長さに基づいて決定され、隣り合うまたは他サブバンドの切断されたサブバンドフィルタの長さに影響を受けない。例えば、Ｚｏｎｅ  ２の一部あるいは全部の切断されたサブバンドフィルタの長さがＺｏｎｅ  １の少なくとも一つの切断されたサブバンドフィルタの長さより長くてもよい。
【００８４】
本発明のまた他の実施形態によれば、複数のグループに分類されたサブバンドのうち一部に対してのみ周波数ドメイン可変次数フィルタリングが行われることができる。すなわち、分類された少なくとも２個のグループのうち一部のグループに属したサブバンドに対してのみ互いに異なる長さを有する切断されたサブバンドフィルタが生成されることができる。一実施形態によれば、切断されたサブバンドフィルタが生成されるグループは、既に設定された定数または既に設定された周波数バンドに基づいて低周波数バンドに分類されたサブバンドグループ（例えば、Ｚｏｎｅ  １）であってもよい。
【００８５】
切断されたフィルタの長さは、オーディオ信号処理装置が取得した追加的な情報、例えば、デコーダの複雑度（ｃｏｍｐｌｅｘｉｔｙ）、複雑度レベル（プロファイル）、または要求されるクォリティー情報に基づいて決定されることができる。複雑度は、オーディオ信号処理装置のハードウェアリソース（ｒｅｓｏｕｒｃｅ）に応じて決定されるか、またはユーザーが直接入力した値に応じて決定されることができる。クォリティーは、ユーザーの要求に応じて決定されるか、またはビットストリームを通じて送信された値またはビットストリームに含まれた他の情報を参照して決定されることができる。また、クォリティーは送信されるオーディオ信号の品質を推定した値に応じて決定されることもでき、例えば、ビットレートが高いほど、より高いクォリティーとみなすことができる。この時、各切断されたサブバンドフィルタの長さは複雑度およびクォリティーに応じて比例的に増加してもよく、各バンド別に互いに異なる比率で変化してもよい。また、各切断されたサブバンドフィルタの長さは、後述するＦＦＴなどの高速プロセッシングによる追加的な利得を得るために、それに対応する大きさ単位、例えば、２の累乗の倍数に決定されることができる。その反面、切断されたサブバンドフィルタの決定された長さが実際のサブバンドフィルタの全長より長い場合、切断されたサブバンドフィルタの長さは実際のサブバンドフィルタの長さに調整されることができる。
【００８６】
ＢＲＩＲパラメータ化部は、前述した実施形態に応じて決定された各切断されたサブバンドフィルタに対応する切断されたサブバンドフィルタ係数（Ｆ−パート係数）を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、切断されたサブバンドフィルタ係数を用いて、マルチオーディオ信号の各サブバンド信号に対する周波数ドメイン可変次数フィルタリングを行う。
【００８７】
図９は、バイノーラルレンダリングに用いられるＱＭＦドメインフィルタの各ＱＭＦバンド別の長さの他の実施形態を示している。図９の実施形態において、図８の実施形態と同一または相応する部分については重複的な説明は省略する。
【００８８】
図９の実施形態において、Ｆｉ＿Ｌ、Ｆｉ＿Ｒは各々ＱＭＦサブバンドｉのＦ−パートレンダリングに用いられる切断されたサブバンドフィルタ（フロントサブバンドフィルタ）を示し、ＰｉはＱＭＦサブバンドｉのＰ−パートレンダリングに用いられるリヤサブバンドフィルタを示す。Ｎは原本サブバンドフィルタの長さ（タップ数）を示し、ＮｉＦおよびＮｉＰは各々サブバンドｉのフロントサブバンドフィルタおよびリヤサブバンドフィルタの長さを示す。前述したように、ＮｉＦおよびＮｉＰはダウンサンプルされたＱＭＦドメインにおけるタップ数を示す。
【００８９】
図９の実施形態によれば、フロントサブバンドフィルタだけでなくリヤサブバンドフィルタの長さも原本サブバンドフィルタから抽出されたパラメータに基づいて決定されることができる。すなわち、各サブバンドのフロントサブバンドフィルタおよびリヤサブバンドフィルタの長さは、該サブバンドフィルタから抽出された特性情報に少なくとも部分的に基づいて決定される。例えば、フロントサブバンドフィルタの長さは該サブバンドフィルタの第１残響時間情報に基づいて、リヤサブバンドフィルタの長さは第２残響時間情報に基づいて決定されることができる。すなわち、フロントサブバンドフィルタは原本サブバンドフィルタにおいて第１残響時間情報に基づいて切断された前部のフィルタであり、リヤサブバンドフィルタはフロントサブバンドフィルタ以後の区間として第１残響時間と第２残響時間との間の区間に対応する後部のフィルタである。一実施形態によれば、第１残響時間情報はＲＴ２０、第２残響時間情報はＲＴ６０であることができるが、本発明はこれに限定されるものではない。
【００９０】
第２残響時間以内には、初期反射音パートから後期残響パートに転換される部分が存在する。すなわち、決定性（ｄｅｔｅｒｍｉｎｉｓｔｉｃ  ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する区間から推計的特性（ｓｔｏｃｈａｓｔｉｃ  ｃｈａｒａｃｔｅｒｉｓｔｉｃ）を有する区間に転換される地点が存在し、全体バンドのＢＲＩＲの観点でこの地点をミキシングタイムと呼ぶ。ミキシングタイム以前の区間の場合、各位置別に方向性を提供する情報が主に存在し、これはチャネル別に固有である。その反面、後期残響パートの場合、チャネル別に共通した特徴を有するため、複数のチャネルを一度に処理することが効率的である。よって、サブバンド別のミキシングタイムを推定して、ミキシングタイム以前に対してはＦ−パートレンダリングによって高速コンボリューションを行い、ミキシングタイム以後に対してはＰ−パートレンダリングによって各チャネル別の共通した特性が反映されたプロセッシングを行うことができる。
【００９１】
しかし、ミキシングタイムを推定することは知覚的（ｐｅｒｃｅｐｔｕａｌ）な観点で偏向（ｂｉａｓ）によるエラーが発生しうる。よって、正確なミキシングタイムを推定して該当境界を基準にＦ−パートとＰ−パートに分けて処理することよりは、Ｆ−パートの長さを最大限長くして高速コンボリューションを行うことがクォリティーの観点では優れる。よって、Ｆ−パートの長さ、すなわち、フロントサブバンドフィルタの長さは、複雑度−クォリティー制御に応じてミキシングタイムに該当する長さより長いかまたは短くなってもよい。
【００９２】
それに加え、各サブバンドフィルタの長さを減らすために、前述したように切断する方法の他にも、特定サブバンドの周波数応答が単調な（ｍｏｎｏｔｏｎｉｃ）場合、該サブバンドのフィルタを低い次数に減少させるモデリングが可能である。代表的な方法としては周波数サンプリングを用いたＦＩＲフィルタモデリングがあり、最小二乗の観点で最小化されるフィルタをデザインすることができる。
【００９３】
本発明の実施形態によれば、各サブバンド別のフロントサブバンドフィルタおよび／またはリヤサブバンドフィルタの長さは、該サブバンドの各チャネルに対して同一の値を有することができる。ＢＲＩＲには測定上のエラーが存在し、残響時間を推定するにも偏向などの誤差要素が存在する。よって、このような影響を減らすために、チャネル間またはサブバンド間の相互関係に基づいてフィルタの長さが決定されることができる。一実施形態によれば、ＢＲＩＲパラメータ化部は、同一のサブバンドの各チャネルに対応するサブバンドフィルタから各々第１特性情報（例えば、第１残響時間情報）を抽出し、抽出された第１特性情報を組み合わせて該サブバンドに対する一つのフィルタ次数情報（または、第１切断地点情報）を取得することができる。該サブバンドの各チャネル別のフロントサブバンドフィルタは、前記取得されたフィルタ次数情報（または、第１切断地点情報）に基づいて同一の長さを有するように決定されることができる。同様に、ＢＲＩＲパラメータ化部は、同一のサブバンドの各チャネルに対応するサブバンドフィルタから各々第２特性情報（例えば、第２残響時間情報）を抽出し、抽出された第２特性情報を組み合わせて該サブバンドの各チャネルに対応するリヤサブバンドフィルタに共通に適用される第２切断地点情報を取得することができる。ここで、フロントサブバンドフィルタは原本サブバンドフィルタにおいて第１切断地点情報に基づいて切断された前部のフィルタであり、リヤサブバンドフィルタはフロントサブバンドフィルタ以後の区間として第１切断地点と第２切断地点との間の区間に対応する後部のフィルタである。
【００９４】
一方、本発明の他の実施形態によれば、特定サブバンドグループのサブバンドに対してはＦ−パートプロセッシングのみ行われることができる。この時、該サブバンドに対して第１切断地点までのフィルタだけを用いてプロセッシングが行われれば、全体サブバンドフィルタを用いてプロセッシングが行われる時に比べて、処理されるフィルタのエネルギー差によってユーザが知覚できる水準の歪みが発生しうる。このような歪みを防止するために、該サブバンドフィルタにおいてプロセッシングに用いられない領域、すなわち、第１切断地点以後の領域に対するエネルギー補償が行われることができる。前記エネルギー補償は、Ｆ−パート係数（フロントサブバンドフィルタ係数）に該サブバンドフィルタの第１切断地点までのフィルタパワーを分け、望む領域のエネルギー、例えば、該サブバンドフィルタの全体パワーを乗ずることによって実行可能である。よって、Ｆ−パート係数のエネルギーが全体サブバンドフィルタのエネルギーと同一になるように調整されることができる。また、ＢＲＩＲパラメータ化部からＰ−パート係数が送信されたにもかかわらず、バイノーラルレンダリングユニットでは複雑度−クォリティー制御に基づいてＰ−パートプロセッシング行わなくてもよい。この場合、バイノーラルレンダリングユニットは、Ｐ−パート係数を用いてＦ−パート係数に対する前記エネルギー補償を行うことができる。
【００９５】
前述した方法によるＦ−パートプロセッシングにおいて、各サブバンド別に異なる長さを有する切断されたサブバンドフィルタのフィルタ係数は、一つの時間領域フィルタ（すなわち、ｐｒｏｔｏ−ｔｙｐｅフィルタ）から得られる。すなわち、一つの時間領域フィルタを複数のＱＭＦサブバンドフィルタに変換し、各サブバンドに対応するフィルタの長さを可変させたものであるため、各切断されたサブバンドフィルタは一つの原型フィルタから得られたものである。
【００９６】
ＢＲＩＲパラメータ化部は、前述した実施形態に応じて決定された各フロントサブバンドフィルタに対応するフロントサブバンドフィルタ係数（Ｆ−パート係数）を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、受信されたフロントサブバンドフィルタ係数を用いて、マルチオーディオ信号の各サブバンド信号に対する周波数ドメイン可変次数フィルタリングを行う。また、ＢＲＩＲパラメータ化部は、前述した実施形態によって決定された各リヤサブバンドフィルタに対応するリヤサブバンドフィルタ係数（Ｐ−パート係数）を生成し、それを後期残響生成部に伝達することができる。後期残響生成部は、受信されたリヤサブバンドフィルタ係数を用いて、各サブバンド信号に対する残響処理を行うことができる。本発明の実施形態によれば、ＢＲＩＲパラメータ化部は、各チャネル別のリヤサブバンドフィルタ係数を組み合わせてダウンミックスサブバンドフィルタ係数（ダウンミックスＰ−パート係数）を生成し、それを後期残響生成部に伝達することができる。後述するように、後期残響生成部は、受信されたダウンミックスサブバンドフィルタ係数を用いて２チャネルの左、右サブバンド残響信号を生成することができる。
【００９７】
図１０は、バイノーラルレンダリングに用いられるＦＩＲフィルタ生成方法のまた他の実施形態を示している。図１０の実施形態において、図８および図９の実施形態と同一または相応する部分については重複的な説明は省略する。
【００９８】
図１０を参照すれば、ＱＭＦ変換された複数のサブバンドフィルタは複数のグループに分類され、分類された各グループ別に互いに異なるプロセッシングが適用されることができる。例えば、複数のサブバンドは、既に設定された周波数バンド（ＱＭＦバンドｉ）を基準にした低周波数の第１サブバンドグループ（Ｚｏｎｅ  １）と、高周波数の第２サブバンドグループ（Ｚｏｎｅ  ２）に分類されることができる。この時、第１サブバンドグループの入力サブバンド信号に対してはＦ−パートレンダリングが、第２サブバンドグループの入力サブバンド信号に対しては後述するＱＴＤＬプロセッシングが行われることができる。
【００９９】
よって、ＢＲＩＲパラメータ化部は、第１サブバンドグループの各サブバンド別にフロントサブバンドフィルタ係数を生成し、それを高速コンボリューション部に伝達する。高速コンボリューション部は、受信されたフロントサブバンドフィルタ係数を用いて第１サブバンドグループのサブバンド信号に対するＦ−パートレンダリングを行う。実施形態により、第１サブバンドグループのサブバンド信号に対するＰ−パートレンダリングが後期残響生成部によってさらに行われることもできる。また、ＢＲＩＲパラメータ化部は、第２サブバンドグループの各サブバンドフィルタ係数から少なくとも一つのパラメータを取得し、それをＱＴＤＬプロセッシング部に伝達する。ＱＴＤＬプロセッシング部は、取得されたパラメータを用いて、後述するように第２サブバンドグループの各サブバンド信号に対するタップ−ディレイラインフィルタリングを行う。本発明の実施形態によれば、第１サブバンドグループと第２サブバンドグループを区分する既に設定された周波数（ＱＭＦバンドｉ）は事前に定められた定数値に基づいて決定されてもよく、送信されたオーディオ入力信号のビット列特性に応じて決定されてもよい。例えば、ＳＢＲを用いるオーディオ信号の場合、第２サブバンドグループがＳＢＲバンドに対応するように設定されることができる。
【０１００】
本発明の他の実施形態によれば、複数のサブバンドは、既に設定された第１周波数バンド（ＱＭＦバンドｉ）および第２周波数バンド（ＱＭＦバンドｊ）に基づいて３個のサブバンドグループに分類されることもできる。すなわち、複数のサブバンドは、第１周波数バンドより小さいかまたは同一な低周波数区域である第１サブバンドグループ（Ｚｏｎｅ  １）、第１周波数バンドより大きく第２周波数バンドより小さいかまたは同一な中間周波数区域である第２サブバンドグループ（Ｚｏｎｅ  ２）、および第２周波数バンドより大きい高周波数区域である第３サブバンドグループ（Ｚｏｎｅ  ３）に分類されることができる。この時、第１サブバンドグループのサブバンド信号および第２サブバンドグループのサブバンド信号に対しては前述したように各々Ｆ−パートレンダリングおよびＱＴＤＬプロセッシングが行われてもよく、第３サブバンドグループのサブバンド信号に対してはレンダリングが行われなくてもよい。
【０１０１】
＜後期残響レンダリング＞
次に、図１１〜図１４を参照して本発明のＰ−パートレンダリングの様々な実施形態について説明する。すなわち、ＱＭＦドメインにおいてＰ−パートレンダリングを行う図２の後期残響生成部２４０の様々な実施形態が図１１〜図１４を参照して説明される。図１１〜図１４の実施形態において、マルチチャネル入力信号はＱＭＦドメインのサブバンド信号として受信されると仮定する。よって、図１１〜図１４の各構成、すなわち、デコリレータ２４１、サブバンドフィルタリング部２４２、ＩＣマッチング部２４３、ダウンミックス部２４４およびエネルギー減衰マッチング部２４６のプロセッシングは各ＱＭＦサブバンド別に行われることができる。図１１〜図１４の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
【０１０２】
前述した図８〜図１０の実施形態において、Ｐ−パートに対応するＰｉ（Ｐ１、Ｐ２、Ｐ３、…）は周波数可変切断に応じて除去された各サブバンドフィルタの後部分に該当し、通常、後期残響に対する情報を含んでいる。複雑度−クォリティー制御に応じてＰ−パートの長さは各サブバンドフィルタの切断された地点以後の全体フィルタとして定義されてもよく、該サブバンドフィルタの第２残響時間情報を参照してより小さい長さとして定義されてもよい。
【０１０３】
Ｐ−パートレンダリングは各チャネル別に独立に行われてもよく、ダウンミックスされたチャネルに対して行われてもよい。また、Ｐ−パートレンダリングは既に設定されたサブバンドグループ別にまたは各サブバンド別に互いに異なるプロセッシングを通じて適用されてもよく、全体サブバンドに対して同一なプロセッシングとして適用されてもよい。この時、Ｐ−パートに適用可能なプロセッシングとしては、入力信号に対するエネルギー減少補償、タップ−ディレイラインフィルタリング、ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタを用いたプロセッシング、人工残響器（ａｒｔｉｆｉｃｉａｌ  ｒｅｖｅｒｂｅｒａｔｏｒ）を用いたプロセッシング、ＦＩＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｉｎｄｅｐｅｎｄｅｎｔ  Ｉｎｔｅｒａｕｒａｌ  Ｃｏｈｅｒｅｎｃｅ）補償、ＦＤＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｄｅｐｅｎｄｅｎｔ  Ｉｎｔｅｒａｕｒａｌ  Ｃｏｈｅｒｅｎｃｅ）補償などが含まれることができる。
【０１０４】
一方、Ｐ−パートに対するパラメトリック（ｐａｒａｍｅｔｒｉｃ）プロセッシングのためには、大きく２つの特徴、すなわち、ＥＤＲ（Ｅｎｅｒｇｙ  Ｄｅｃａｙ  Ｒｅｌｉｅｆ）とＦＤＩＣ（Ｆｒｅｑｕｅｎｃｙ−ｄｅｐｅｎｄｅｎｔ  Ｉｎｔｅｒａｕｒａｌ  Ｃｏｈｅｒｅｎｃｅ）の特徴を保存することが重要である。先ず、Ｐ−パートをエネルギー観点で観察すれば、各チャネル別にＥＤＲが同一または類似することが分かる。各チャネルが共通したＥＤＲを有しているため、全てのチャネルを一つまたは二つのチャネルにダウンミックスした後、ダウンミックスされたチャネルに対するＰ−パートレンダリングを行うことはエネルギー観点で妥当である。この時、Ｍ個のチャネルに対してＭ回のコンボリューションを実行しなければならないＰ−パートレンダリングの演算を、Ｍ−ｔｏ−Ｏダウンミックスと１回（または、２回）のコンボリューションに減らすことによって相当な演算量の利得を提供することができる。
【０１０５】
次に、Ｐ−パートレンダリングにおいてＦＤＩＣを補償する過程が必要である。ＦＤＩＣを推定する方法には色々なものがあるが、次のような数式が用いられることができる。
（数式３）
【０１０６】
【数３】
2016534586.tif 000005
【０１０７】
ここで、Ｈm(i,k)はインパルス応答ｈm(ｎ)のＳＴＦＴ（Ｓｈｏｒｔ  Ｔｉｍｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）係数、ｎは時間インデックス、ｉは周波数インデックス、ｋはフレームインデックス、ｍは出力チャネルインデックス（Ｌ，Ｒ）を示す。また、分子の関数Ｒ(ｘ)は入力ｘの実数値を出力し、ｘ*はｘの複素共役（ｃｏｍｐｌｅｘ  ｃｏｎｊｕｇａｔｅ）値を示す。前記数式において、分子の部分は実数値の代わりに絶対値を取る関数に置換されることもできる。
【０１０８】
一方、本発明において、バイノーラルレンダリングはＱＭＦドメインで行われるため、ＦＤＩＣは次のような数式で定義されることもできる。
（数式４）
【０１０９】
【数４】
2016534586.tif 000006
【０１１０】
ここで、ｉはサブバンドインデックス、ｋはサブバンドにおける時間インデックス、ｈm(i,k)はＢＲＩＲのサブバンドフィルタを示す。
【０１１１】
後期残響パートのＦＤＩＣはＢＲＩＲがレコーディングされる時に二つのマイクロホンの位置に主に影響を受けるパラメータとして、スピーカの位置、すなわち、方向と距離には影響を受けない。聴取者の頭を球（ｓｐｈｅｒｅ）と仮定した時、ＢＲＩＲの理論的なＦＤＩＣ（ＩＣideal）は次のような数式を満たすことができる。
（数式５）
【０１１２】
【数５】
2016534586.tif 000007
【０１１３】
ここで、ｒは聴取者の両耳間の距離、すなわち、二つのマイクロホン間の距離であり、ｋは周波数インデックスである。
【０１１４】
複数チャネルのＢＲＩＲを用いたＦＤＩＣを分析すれば、Ｆ−パートに主に含まれた初期反射音は各チャネル別に非常に異なることが分かる。すなわち、Ｆ−パートのＦＤＩＣはチャネル別に非常に異なるように変化する。一方、高周波数帯域の場合、ＦＤＩＣが非常に大きく変化するが、これはエネルギーが速く減殺する高周波数帯域信号の特性上大きな測定誤差が発生するためであり、チャネル別に平均を取る場合、ＦＤＩＣはほぼ０に収斂する。その反面、Ｐ−パートの場合にも測定誤差によってチャネル別ＦＤＩＣの差が発生するが、平均的に数式５のようなシンク関数に収斂することを確認することができる。本発明の実施形態によれば、前述したような特性に基づいてＰ−パートレンダリングのための後期残響生成部を実現することができる。
【０１１５】
図１１は、本発明の一実施形態による後期残響生成部２４０Ａを示している。図１１の実施形態によれば、後期残響生成部２４０Ａは、サブバンドフィルタリング部２４２およびダウンミックス部２４４ａ，２４４ｂを含むことができる。
【０１１６】
サブバンドフィルタリング部２４２は、Ｐ−パート係数を用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１を各サブバンド別にフィルタリングする。Ｐ−パート係数は前述したようにＢＲＩＲパラメータ化部（図示せず）から受信され、サブバンド別に互いに異なる長さを有するリヤサブバンドフィルタの係数を含むことができる。サブバンドフィルタリング部２４２は、各周波数別にＱＭＦドメインサブバンド信号とそれに対応するＱＭＦドメインのリヤサブバンドフィルタ間の高速コンボリューションを行う。この時、リヤサブバンドフィルタの長さは前述したようにＲＴ６０に基づいて決定されるが、複雑度−クォリティー制御に応じてＲＴ６０より大きいかまたは小さい値に設定されることもできる。
【０１１７】
マルチチャネル入力信号は、サブバンドフィルタリング部２４２によって、各々、左チャネル信号のＸ＿Ｌ０、Ｘ＿Ｌ１、…、Ｘ＿Ｌ＿Ｍ−１と右チャネル信号のＸ＿Ｒ０、Ｘ＿Ｒ１、…、Ｘ＿Ｒ＿Ｍ−１にレンダリングされる。ダウンミックス部２４４ａ，２４４ｂは、レンダリングされた複数の左チャネル信号と複数の右チャネル信号を各々左、右チャネル別にダウンミックスして２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。
【０１１８】
図１２は、本発明の他の実施形態による後期残響生成部２４０Ｂを示している。図１２の実施形態によれば、後期残響生成部２４０Ｂは、デコリレータ２４１、ＩＣマッチング部２４３、ダウンミックス部２４４ａ，２４４ｂおよびエネルギー減衰マッチング部２４６ａ，２４６ｂを含むことができる。また、後期残響生成部２４０Ｂのプロセッシングのために、ＢＲＩＲパラメータ化部（図示せず）は、ＩＣ推定部２１３およびダウンミックスサブバンドフィルタ生成部２１６を含むことができる。
【０１１９】
図１２の実施形態によれば、後期残響生成部２４０Ｂは、後期残響パートのチャネル別のエネルギー減衰（ｅｎｅｒｇｙ  ｄｅｃａｙ）特性が同一であることを利用して演算量を減少させることができる。すなわち、後期残響生成部２４０Ｂは、各マルチチャネル信号に対する非相関およびＩＣ（Ｉｎｔｅｒａｕｒａｌ  Ｃｏｈｅｒｅｎｃｅ）調整を行い、調整された各チャネル別の入力信号および非相関信号を左、右チャネル信号にダウンミックスした後、ダウンミックスされた信号のエネルギー減衰を補償して２チャネルの左、右出力信号を生成する。より具体的には、デコリレータ２４１は、各マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対する非相関信号Ｄ０、Ｄ１、…、Ｄ＿Ｍ−１を生成する。デコリレータ２４１は両耳間のコヒーレンス（ｃｏｈｅｒｅｎｃｅ）を調整するための一種の前処理器であって、位相ランダマイザ（ｐｈａｓｅ  ｒａｎｄｏｍｉｚｅｒ）が用いられてもよく、演算量の効率のために９０度単位で入力信号の位相を変えてもよい。
【０１２０】
一方、ＢＲＩＲパラメータ化部（図示せず）のＩＣ推定部２１３は、ＩＣ値を推定してバイノーラルレンダリングユニット（図示せず）に伝達する。バイノーラルレンダリングユニットは受信されたＩＣ値をメモリ２５５に格納することができ、ＩＣマッチング部２４３に伝達する。ＩＣマッチング部２４３はＢＲＩＲパラメータ化部からＩＣ値を直接受信することもでき、メモリ２５５に既に格納されたＩＣ値を取得することもできる。各チャネル別の入力信号および非相関信号は、ＩＣマッチング部２４３において、左チャネル信号のＸ＿Ｌ０、Ｘ＿Ｌ１、…、Ｘ＿Ｌ＿Ｍ−１と右チャネル信号のＸ＿Ｒ０、Ｘ＿Ｒ１、…、Ｘ＿Ｒ＿Ｍ−１にレンダリングされる。ＩＣマッチング部２４３は、ＩＣ値を参照して各チャネル別に非相関信号と本来の入力信号間の加重和を行い、それによって二つのチャネル信号間のコヒーレンスを調整する。この時、各チャネル別の入力信号はサブバンドドメインの信号であるため、前述したＦＤＩＣのマッチングが可能である。本来のチャネル信号をＸ、非相関チャネル信号をＤ、該サブバンドのＩＣをφとした時、ＩＣマッチングが行われた左、右チャネル信号Ｘ＿Ｌ、Ｘ＿Ｒは次の数式のように表すことができる。
（数式６）
【０１２１】
【数６】
2016534586.tif 000008
【０１２２】
（複号同順）
ダウンミックス部２４４ａ，２４４ｂは、ＩＣマッチングによってレンダリングされた複数の左チャネル信号と複数の右チャネル信号を各々左、右チャネル別にダウンミックスして、２チャネルの左、右レンダリング信号を生成する。次に、エネルギー減衰マッチング部２４６ａ，２４６ｂは、２チャネルの左、右レンダリング信号のエネルギー減衰を各々反映して、２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。エネルギー減衰マッチング部２４６ａ，２４６ｂは、ダウンミックスサブバンドフィルタ生成部２１６から得られたダウンミックスサブバンドフィルタ係数を用いてエネルギー減衰マッチングを行う。ダウンミックスサブバンドフィルタ係数は、該サブバンドの各チャネル別のリヤサブバンドフィルタ係数の組み合わせによって生成される。例えば、ダウンミックスサブバンドフィルタ係数は、該サブバンドに対して各チャネル別のリヤサブバンドフィルタ係数の二乗振幅応答の平均にルートを取ったサブバンドフィルタ係数を含むことができる。よって、ダウンミックスサブバンドフィルタ係数は、該サブバンド信号に対する後期残響パートのエネルギー減少特性を反映する。ダウンミックスサブバンドフィルタ係数は実施形態によってモノまたはステレオにダウンミックスされたダウンミックスサブバンドフィルタ係数を含むことができ、ＦＤＩＣと同様にＢＲＩＲパラメータ化部から直接受信されるか、またはメモリ２２５に既に格納された値から得ることができる。Ｍ個のチャネルのうちｋ番目のチャネルにおけるＦ−パートが切断されたＢＲＩＲをＢＲＩＲk、ｋ番目のチャネルにおけるＮ番目のサンプルまでの切断されたＢＲＩＲをＢＲＩＲT,k、Ｎ番目のサンプル以後の切断された部分のエネルギーを補償したダウンミックスサブバンドフィルタ係数をＢＲＩＲEとすれば、ＢＲＩＲEは次のような数式を用いて求めることができる。
（数式７）
【０１２３】
【数７】
2016534586.tif 000009
【０１２４】
図１３は、本発明のまた他の実施形態による後期残響生成部２４０Ｃを示している。図１３の後期残響生成部２４０Ｃの各構成は図１２の実施形態で説明された後期残響生成部２４０Ｂの各構成と同様であってもよく、各構成間のデータ処理順序が一部異なる。
【０１２５】
図１３の実施形態によれば、後期残響生成部２４０Ｃは、後期残響パートの各チャネル別ＦＤＩＣが同一であることを利用して演算量をさらに減少させることができる。すなわち、後期残響生成部２４０Ｃは、各マルチチャネル信号を左、右チャネル信号にダウンミックスし、ダウンミックスされた左、右チャネル信号のＩＣを調整した後、調整された左、右チャネル信号に対するエネルギー減衰を補償して２チャネルの左、右出力信号を生成することができる。
【０１２６】
より具体的には、デコリレータ２４１は、各マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対する非相関信号Ｄ０、Ｄ１、…、Ｄ＿Ｍ−１を生成する。次に、ダウンミックス部２４４ａ，２４４ｂは、マルチチャネル入力信号および非相関信号を各々ダウンミックスして、２チャネルダウンミックス信号Ｘ＿ＤＭＸ、Ｄ＿ＤＭＸを生成する。ＩＣマッチング部２４３は、ＩＣ値を参照して２チャネルダウンミックス信号を加重和し、それによって二つのチャネル信号間のコヒーレンスを調整する。エネルギー減衰補償部２４６ａ，２４６ｂは、ＩＣマッチング部２４３によってＩＣマッチングが行われた左、右チャネル信号Ｘ＿Ｌ、Ｘ＿Ｒの各々に対するエネルギー補償を行って、２チャネルの左、右出力信号Ｘ＿Ｌｐ、Ｙ＿Ｒｐを生成する。この時、エネルギー補償に用いられるエネルギー補償情報には、各サブバンドに対するダウンミックスサブバンドフィルタ係数が含まれることができる。
【０１２７】
図１４は、本発明のまた他の実施形態による後期残響生成部２４０Ｄを示している。図１４の後期残響生成部２４０Ｄの各構成は図１２および図１３の実施形態で説明された後期残響生成部２４０Ｂ，２４０Ｃの各構成と同一であってもよいが、より簡略化された特徴を有する。
【０１２８】
先ず、ダウンミックス部２４４は、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１を各サブバンド別にダウンミックスして、モノダウンミックス信号（すなわち、モノサブバンド信号）Ｘ＿ＤＭＸを生成する。エネルギー減衰マッチング部２４６は、生成されたモノダウンミックス信号に対するエネルギー減衰を反映する。この時、エネルギー減衰を反映するために、各サブバンドに対するダウンミックスサブバンドフィルタ係数が用いられることができる。次に、デコリレータ２４１は、エネルギー減衰が反映されたモノダウンミックス信号の非相関信号Ｄ＿ＤＭＸを生成する。ＩＣマッチング部２４３は、エネルギー減衰が反映されたモノダウンミックス信号と非相関信号をＦＤＩＣ値を参照して加重和し、それによって２チャネルの左、右出力信号Ｙ＿Ｌｐ、Ｙ＿Ｒｐを生成する。図１４の実施形態によれば、エネルギー減衰マッチングをモノダウンミックス信号（Ｘ＿ＤＭＸ）に対して１回のみ実行するので演算量をさらに節約することができる。
【０１２９】
＜高周波数バンドのＱＴＤＬプロセッシング＞
次に、図１５および図１６を参照して本発明のＱＴＤＬプロセッシングの様々な実施形態について説明する。すなわち、ＱＭＦドメインにおいてＱＴＤＬプロセッシングを行う図２のＱＴＤＬプロセッシング部２５０の様々な実施形態が図１５および図１６を参照して説明される。図１５および図１６の実施形態において、マルチチャネル入力信号はＱＭＦドメインのサブバンド信号として受信されると仮定する。よって、図１５および図１６の実施形態において、タップ−ディレイラインフィルタおよびワン−タップ−ディレイラインフィルタは各ＱＭＦサブバンド別にプロセッシングを行うことができる。また、ＱＴＤＬプロセッシングは、前述したように既に設定された定数または既に設定された周波数バンドに基づいて分類された高周波数バンドの入力信号に対してのみ行われることができる。仮に、入力オーディオ信号にＳＢＲ（Ｓｐｅｃｔｒａｌ  Ｂａｎｄ  Ｒｅｐｌｉｃａｔｉｏｎ）が適用された場合、前記高周波数バンドはＳＢＲバンドに対応する。図１５および図１６の実施形態において、以前の図面の実施形態と重複する部分については具体的な説明は省略する。
【０１３０】
高周波数帯域の効率的な符号化のために用いられるＳＢＲ（Ｓｐｅｃｔｒａｌ  Ｂａｎｄ  Ｒｅｐｌｉｃａｔｉｏｎ）は、低ビット率の符号化時に高周波数帯域の信号を捨てることによって狭くなったバンド幅を再び拡張して、原信号程度のバンド幅を確保するための道具である。この時、高周波数帯域は符号化されて送信される低周波数帯域の情報とエンコーダによって送信した高周波数帯域信号の付加情報を活用して生成される。しかし、ＳＢＲを用いて生成された高周波数成分は不正確な高調波（ｈａｒｍｏｎｉｃ）の生成によって歪みが発生しうる。また、ＳＢＲバンドは高周波数帯域であり、前述したように該周波数帯域の残響時間は非常に短い。すなわち、ＳＢＲバンドのＢＲＩＲサブバンドフィルタは有効情報が少なく、速い減衰率を有する。よって、ＳＢＲ帯域に準ずる高周波数帯域に対するＢＲＩＲレンダリングは、コンボリューションを行うことよりは有効な少数のタップを用いてレンダリングを行うことが音質のクォリティーに対比して演算量の側面で非常に効果的である。
【０１３１】
図１５は、本発明の一実施形態によるＱＴＤＬプロセッシング部２５０Ａを示している。図１５の実施形態によれば、ＱＴＤＬプロセッシング部２５０Ａは、タップ−ディレイラインフィルタを用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対するサブバンド別のフィルタリングを行う。タップ−ディレイラインフィルタは、各チャネル信号に対して既に設定された少数のタップだけコンボリューションを行う。この時に用いられる少数のタップは、該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から直接抽出されたパラメータに基づいて決定されることができる。前記パラメータは、タップ−ディレイラインフィルタに用いられる各タップに対するディレイ（ｄｅｌａｙ）情報およびそれに対応するゲイン（ｇａｉｎ）情報を含む。
【０１３２】
タップ−ディレイラインフィルタに用いられるタップ数は、複雑度−クォリティー制御に応じて決定されることができる。ＱＴＤＬプロセッシング部２５０Ａは、既に決められたタップ数に基づいて、各チャネルおよびサブバンド別に該タップ数に対応するパラメータ（ゲイン情報、ディレイ情報）セットをＢＲＩＲパラメータ化部から受信する。この時、受信されるパラメータセットは該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から抽出され、様々な実施形態に応じて決定されることができる。例えば、該ＢＲＩＲサブバンドフィルタ係数の複数のピークのうち絶対値の大きさ順、実数値の大きさ順、または虚数値の大きさ順に前記既に決められたタップ数だけ抽出されたピークの各々に対するパラメータのセットが受信されることができる。この時、各パラメータのディレイ情報は該ピークの位置情報を示し、ＱＭＦドメインにおいてサンプル単位の整数値を有する。また、ゲイン情報は、該ディレイ情報に対応するピークの大きさに基づいて決定される。この時、ゲイン情報は、サブバンドフィルタ係数における該ピーク値そのものが用いられてもよいが、全体サブバンドフィルタ係数に対するエネルギー補償が行われた後の該ピークの加重値が用いられてもよい。前記ゲイン情報は、該ピークに対する実数加重値および虚数加重値を共に用いて得られ、よって複素数値を有する。
【０１３３】
タップ−ディレイラインフィルタによってフィルタリングされた複数のチャネル信号は、各サブバンド別に２チャネルの左、右出力信号Ｙ＿Ｌ、Ｙ＿Ｒに合算される。一方、ＱＴＤＬプロセッシング部２５０Ａの各タップ−ディレイラインフィルタで用いられるパラメータはバイノーラルレンダリングの初期化過程でメモリに格納されることができ、パラメータの抽出のための追加的な演算なしでＱＴＤＬプロセッシングが行われることができる。
【０１３４】
図１６は、本発明の他の実施形態によるＱＴＤＬプロセッシング部２５０Ｂを示している。図１６の実施形態によれば、ＱＴＤＬプロセッシング部２５０Ｂは、ワン−タップ−ディレイラインフィルタを用いて、マルチチャネル入力信号Ｘ０、Ｘ１、…、Ｘ＿Ｍ−１に対するサブバンド別のフィルタリングを行う。ワン−タップ−ディレイラインフィルタは、各チャネル信号に対して１個のタップにおいてのみコンボリューションを行うものとして理解することができる。この時に用いられるタップは、該サブバンド信号に対応するＢＲＩＲサブバンドフィルタ係数から直接抽出されたパラメータに基づいて決定されることができる。前記パラメータは、前述したようにＢＲＩＲサブバンドフィルタ係数から抽出されたディレイ情報およびそれに対応するゲイン情報を含む。
【０１３５】
図１６において、Ｌ＿０、Ｌ＿１、…Ｌ＿Ｍ−１は各々Ｍ個のチャネルから左耳へのＢＲＩＲに対するディレイを示し、Ｒ＿０、Ｒ＿１、…、Ｒ＿Ｍ−１は各々Ｍ個のチャネルから右耳へのＢＲＩＲに対するディレイを示す。この時、ディレイ情報は、該ＢＲＩＲサブバンドフィルタ係数のうちの絶対値の大きさ順、実数値の大きさ順、または虚数値の大きさ順に最大ピークに対する位置情報を示す。また、図１６において、Ｇ＿Ｌ＿０、Ｇ＿Ｌ＿１、…、Ｇ＿Ｌ＿Ｍ−１は左チャネルの各ディレイ情報に対応するゲインを示し、Ｇ＿Ｒ＿０、Ｇ＿Ｒ＿１、…、Ｇ＿Ｒ＿Ｍ−１は各々右チャネルの各ディレイ情報に対応するゲインを示す。前述したように、各ゲイン情報は、該ディレイ情報に対応するピークの大きさに基づいて決定される。この時、ゲイン情報はサブバンドフィルタ係数における該ピーク値そのものが用いられてもよいが、全体サブバンドフィルタ係数に対するエネルギー補償が行われた後の該ピークの加重値が用いられてもよい。前記ゲイン情報は該ピークに対する実数加重値および虚数加重値を共に用いて得られ、よって複素数値を有する。
【０１３６】
図１５の実施形態のように、ワン−タップ−ディレイラインフィルタによってフィルタリングされた複数のチャネル信号は、各サブバンド別に２チャネルの左、右出力信号Ｙ＿Ｌ、Ｙ＿Ｒに合算される。また、ＱＴＤＬプロセッシング部２５０Ｂの各ワン−タップ−ディレイラインフィルタで用いられるパラメータはバイノーラルレンダリングの初期化過程でメモリに格納されることができ、パラメータの抽出のための追加的な演算なしでＱＴＤＬプロセッシングが行われることができる。
【０１３７】
以上では本発明を具体的な実施形態によって説明したが、当業者であれば、本発明の趣旨および範囲を逸脱することなく修正、変更をすることができる。すなわち、本発明はマルチオーディオ信号に対するバイノーラルレンダリングの実施形態について説明したが、本発明はオーディオ信号だけでなくビデオ信号を含む様々なマルチメディア信号にも同様に適用および拡張することができる。よって、本発明の詳細な説明および実施形態から本発明が属する技術分野に属した者が容易に類推できるものは本発明の権利範囲に属すると解釈される。
【０１３８】
前述したように、発明の実施のための最善の形態に関する事項を記述した。
【産業上の利用可能性】
【０１３９】
本発明は、様々な形態のオーディオ信号処理装置およびビデオ信号処理装置などを含むマルチメディア信号処理装置に適用されることができる。
【図１】
2016534586.tif 000010
【図２】
2016534586.tif 000011
【図３】
2016534586.tif 000012
【図４】
2016534586.tif 000013
【図５】
2016534586.tif 000014
【図６】
2016534586.tif 000015
【図７】
2016534586.tif 000016
【図８】
2016534586.tif 000017
【図９】
2016534586.tif 000018
【図１０】
2016534586.tif 000019
【図１１】
2016534586.tif 000020
【図１２】
2016534586.tif 000021
【図１３】
2016534586.tif 000022
【図１４】
2016534586.tif 000023
【図１５】
2016534586.tif 000024
【図１６】
2016534586.tif 000025
【国際調査報告】
2016534586.tif 000026
2016534586.tif 000027
2016534586.tif 000028
2016534586.tif 000029
2016534586.tif 000030
2016534586.tif 000031