(57)【要約】【課題】複数のフィルタに基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するに当たって、コムフィルタリング効果による音色歪曲を減少させる。【解決手段】入力オーディオ信号をレンダリングするオーディオ信号処理装置が開示される。オーディオ信号処理装置は、入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するプロセッサを含む。前記プロセッサは、聴取者を基準にする音源の位置それぞれに対応する頭部伝達関数（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）からなる第１伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、第１同側ＨＲＴＦ及び第１対側ＨＲＴＦを含む第１の一対のＨＲＴＦを獲得し、前記第１の一対のＨＲＴＦに基づき、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。【選択図】図１
2019115042.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号処理装置において、
入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するプロセッサを含み、
前記プロセッサは、
聴取者を基準にする特定位置それぞれに対応する頭部伝達関数（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）からなる第１伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、第１同側（ｉｐｓｉｌａｔｅｒａｌ)ＨＲＴＦ及び第１対側（ｃｏｎｔｒａｌａｔｅｒａｌ）ＨＲＴＦを含む第１の一対のＨＲＴＦを獲得し、
前記第１の一対のＨＲＴＦに基づき、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成し、
前記第1伝達関数セットが含む複数の同側ＨＲＴＦそれぞれの周波数領域上の位相応答は、複数の同側ＨＲＴＦそれぞれに対応する位置とは関係なく互いに同じ位相応答である、オーディオ信号処理装置。
【請求項２】
前記第１同側ＨＲＴＦの位相応答は線形位相応答である、請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記第１対側ＨＲＴＦの位相応答に対応する時間領域上の対側グループディレー（ｇｒｏｕｐ−ｄｅｌａｙ)は、前記第１同側ＨＲＴＦの位相応答に対応する同側グループディレーを基準に決定された値であり、
前記第１対側ＨＲＴＦの位相応答は線形位相応答である、請求項２に記載のオーディオ信号処理装置。
【請求項４】
前記対側グループディレーは、前記同側グループディレーを基準に両耳間時間差（ｉｎｔｅｒａｕｒａｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅ、ＩＴＤ）情報を利用して決定された値である、請求項３に記載のオーディオ信号処理装置。
【請求項５】
前記ＩＴＤ情報は測定された一対のＨＲＴＦに基づいて獲得された値であり、
前記測定された一対のＨＲＴＦは、前記聴取者を基準に前記仮想音源の位置に対応するものである、請求項４に記載のオーディオ信号処理装置。
【請求項６】
前記対側グループディレーは、前記同側グループディレーを基準に前記聴取者の頭部モデル情報（ｈｅａｄ  ｍｏｄｅｌｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ）を利用して決定された値である、請求項３に記載のオーディオ信号処理装置。
【請求項７】
前記同側グループディレー及び前記対側グループディレーは、時間領域におけるサンプリング周波数によるサンプルの整数倍単位である、請求項３に記載のオーディオ信号処理装置。
【請求項８】
前記プロセッサは、
時間領域において、前記対側グループディレー及び前記同側グループディレーそれぞれに基づき、前記入力オーディオ信号を遅延（ｄｅｌａｙ）させて前記出力オーディオ信号を生成する、請求項７に記載のオーディオ信号処理装置。
【請求項９】
前記プロセッサは、
時間領域において、前記第１の一対のＨＲＴＦ及び追加のオーディオ信号に基づいて最終出力オーディオ信号を生成し、前記最終出力オーディオ信号を出力し、
前記追加のオーディオ信号の同側グループディレーは、前記第１同側ＨＲＴＦの同側グループディレーと同じであり、 前記追加のオーディオ信号の対側グループディレーは、前記第１対側ＨＲＴＦの対側グループディレーと同じである、請求項３に記載のオーディオ信号処理装置。
【請求項１０】
前記プロセッサは、
前記聴取者を基準にする前記仮想音源の位置によるパニングゲインを獲得し、
前記パニングゲインに基づいて前記入力オーディオ信号をフィルタリングし、
前記第１同側ＨＲＴＦの同側グループディレー及び前記第１対側ＨＲＴＦの対側グループディレーに基づき、前記フィルタリングされた入力オーディオ信号を時間遅延させて前記追加のオーディオ信号を生成する、請求項９に記載のオーディオ信号処理装置。
【請求項１１】
前記プロセッサは、
前記第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成し、
同側追加フィルタ及び対側追加フィルタを含む一対の追加フィルタに基づき、前記入力オーディオ信号をフィルタリングして前記追加のオーディオ信号を生成し、
時間領域において、前記出力オーディオ信号と前記追加のオーディオ信号をミキシングして前記最終出力オーディオ信号を生成し、
前記同側追加フィルタの位相応答は、前記第１同側ＨＲＴＦの位相応答と同じであり、前記対側追加フィルタの位相応答は、前記第１対側ＨＲＴＦの位相応答と同じである、請求項９に記載のオーディオ信号処理装置。
【請求項１２】
前記一対の追加フィルタは、前記聴取者を基準にする前記仮想音源の位置によるパニングゲインに基づいて生成されたフィルタであり、
前記同側追加フィルタ及び前記対側追加フィルタそれぞれの周波数応答の大きさ成分（ｍａｇｎｉｔｕｄｅ)は一定である、請求項１１に記載のオーディオ信号処理装置。
【請求項１３】
前記一対の追加フィルタは、前記仮想音源がモデリングする物体の大きさ及び前記聴取者からの前記仮想音源までの距離に基づいて生成されたものである、請求項１１に記載のオーディオ信号処理装置。
【請求項１４】
前記第１伝達関数セットが含む複数のＨＲＴＦそれぞれの周波数領域上の位相応答は、複数のＨＲＴＦそれぞれに対応する位置とは関係なく互いに同じ位相応答であり、
前記プロセッサは、
前記仮想音源の位置が前記複数のＨＲＴＦそれぞれに対応する位置以外の位置であれば、少なくとも２つ以上のＨＲＴＦの対に基づいて生成された前記第１の一対のＨＲＴＦを獲得し、
前記少なくとも２つ以上のＨＲＴＦの対は、前記仮想音源の位置に基づいて前記第1伝達関数セットから獲得されたものである、請求項１に記載のオーディオ信号処理装置。
【請求項１５】
前記プロセッサは、
時間領域において、前記少なくとも２つ以上のＨＲＴＦの対をインタポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して前記第１の一対のＨＲＴＦを獲得する、請求項１４に記載のオーディオ信号処理装置。
【請求項１６】
前記プロセッサは、
前記第１伝達関数セットではない他の第２伝達関数セットから前記仮想音源の位置に基づいて第２同側ＨＲＴＦ及び第２対側ＨＲＴＦを含む第２の一対のＨＲＴＦを獲得し、
前記第１の一対のＨＲＴＦ及び前記第２の一対のＨＲＴＦに基づいて前記出力オーディオ信号を生成し、
前記第２同側ＨＲＴＦの位相応答は、前記第１同側ＨＲＴＦの位相応答と同じであり、前記第２対側ＨＲＴＦの位相応答は、前記第１対側ＨＲＴＦの位相応答と同じである、 請求項３に記載のオーディオ信号処理装置。
【請求項１７】
入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するオーディオ信号処理装置の動作方法において、
聴取者を基準にする特定位置それぞれに対応する頭部伝達関数からなる伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、同側ＨＲＴＦ及び対側ＨＲＴＦを含む一対のＨＲＴＦを獲得するステップと、
前記一対のＨＲＴＦに基づき、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するステップと、を含み、
前記伝達関数セットが含む複数の同側ＨＲＴＦそれぞれの周波数領域上の位相応答は、音源の位置とは関係なく互いに同じ位相応答である、オーディオ信号処理方法。
【請求項１８】
前記同側ＨＲＴＦの位相応答は線形位相応答である、請求項１7に記載のオーディオ信号処理方法。
【請求項１９】
オーディオ信号処理装置において、
入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するプロセッサを含み、
前記プロセッサは、
聴取者を基準にする特定位置それぞれに対応する頭部伝達関数で構成された伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、同側ＨＲＴＦ及び対側ＨＲＴＦを含む一対のＨＲＴＦを獲得し、
前記同側ＨＲＴＦの周波数領域上の位相応答を前記仮想音源の位置とは関係なく同じ特定位相応答になるように変更し、
前記同側ＨＲＴＦの位相応答が、前記変更された一対のＨＲＴＦに基づき、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する、オーディオ信号処理装置。
【請求項２０】
前記特定位相応答は線形位相応答である、請求項１９に記載のオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号を効果的に再生するための処理信号及びその方法であって、より詳しくは、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）機器などにおいて、インタラクティブ（ｉｎｔｅｒａｃｔｉｖｅ)でより没入感の高い（ｉｍｍｅｒｓｉｖｅ)３次元オーディオ信号を提供するためのオーディオ信号処理方法及びその装置に関する。
【背景技術】
【０００２】
ＨＭＤ機器において、イマーシブ（ｉｍｍｅｒｓｉｖｅ)でインタラクティブなオーディオを提供するために、バイノーラルレンダリング（ｂｉｎａｕｒａｌ  ｒｅｎｄｅｒｉｎｇ)技術が必須的に要求される。バイノーラルレンダリングは、３次元空間上で臨場感のあるサウンドを提供する３Ｄオーディオを人の両耳に伝達される信号にモデリングするものである。聴取者は、ヘッドホンやイヤホンなどを介したバイノーラルレンダリングされた２チャネルオーディオ出力を介しても立体感を感じることができる。バイノーラルレンダリングの具体的な原理は、以下のようである。人はいつも両耳を介して音を聞き、音を介して音源の位置と方向を認識する。よって、３Ｄオーディオを、人の両耳に伝達されるオーディオ信号形態にモデリングすることができれば、多数のスピーカがなくても、２チャネルオーディオ出力を介して２Ｄオーディオの立体感を再現することができる。
【０００３】
この際、バイノーラルレンダリングの対象となるオーディオ信号が含まれるオブジェクトまたはチャネルの個数が増加すれば、バイノーラルレンダリングに必要な演算量及び電力消耗が増加する恐れがある。それによって、演算量及び電力消耗の制約が伴うモバイルディバイスにおいて、入力オーディオ信号に対するバイノーラルレンダリングを効率的に行うための技術が要求される。
【０００４】
また、制限的なメモリ容量及び測定過程における制約事項のため、オーディオ信号処理装置が獲得可能なＨＲＴＦ（Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の個数が制限される可能性がある。そのため、オーディオ信号処理装置お音像定位（ｓｏｕｎｄ  ｌｏｃａｌｉｚａｔｉｏｎ)性能の低下が発生する恐れがある。よって、３次元空間上で再現されるオーディオ信号の空間解像度を増加させるために、入力されたＨＲＴＦに対するオーディオ信号処理装置の追加的な処理が必要となる。また、仮想現実におけるバイノーラルレンダリングされたオーディオ信号は、再現性を上げるために追加的な信号と組み合わせられる。この際、オーディオ信号処理装置がバイノーラルレンダリングされたオーディオ信号と追加的な信号を時間領域で合成する場合、コムフィルタリング効果（ｃｏｍｂ−ｆｉｌｔｅｒｉｎｇ  ｅｆｆｅｃｔ)によって出力オーディオ信号の温室が低下する恐れがある。バイノーラルレンダリング及び追加的な信号のそれぞれ異なるディレーにより、音色が変形する可能性があるためである。また、オーディオ信号処理装置が周波数領域でバイノーラルレンダリングされたオーディオ信号と追加的な信号を合成する場合、バイノーラルレンダリング蚤を使用する場合に比べ追加的な演算量が要求される。それによって、追加的な処理及び合成において、演算量を減少させながら入力オーディオ信号の音色を維持する技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の一実施例は、複数のフィルタに基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するに当たって、コムフィルタリング効果による音色歪曲（ｔｉｍｂｒｅ  ｄｉｓｔｏｒｔｉｏｎ)を減少させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施例によるオーディオ信号処理装置は、入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するプロセッサを含む。前記プロセッサは、聴取者を基準にする特定位置それぞれに対応する頭部伝達関数（ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）で構成された第１伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、第１同側（ｉｐｓｉｌａｔｅｒａｌ)ＨＲＴＦ及び第１対側（ｃｏｎｔｒａｌａｔｅｒａｌ）ＨＲＴＦを含む第１の一対のＨＲＴＦを獲得し、前記第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして、出力オーディオ信号を生成する。前記第１伝達関数セットが含む複数の同側ＨＲＴＦそれぞれの周波数領域上の位相応答は、複数の同側ＨＲＴＦそれぞれに対応する位置とは関係なく互いに同じ位相応答である。前記第１同側ＨＲＴＦの位相応答は、線形位相応答である。
【０００７】
前記第１対側ＨＲＴＦの位相応答に対応する時間領域上の対側グループディレー（ｇｒｏｕｐ−ｄｅｌａｙ)は、前記第１同側ＨＲＴＦの位相応答に対応する同側グループディレーを基準に決定された値である。前記第１対側ＨＲＴＦの位相応答は、線形位相応答である。
【０００８】
前記対側グループディレーは、前記同側グループディレーを基準に両耳間時間差（ｉｎｔｅｒａｕｒａｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅ、ＩＴＤ）情報を利用して決定された値である。
【０００９】
前記ＩＴＤ情報は、測定された一対のＨＲＴＦに基づいて獲得された値であり、前記測定された一対のＨＲＴＦは、前記聴取者を基準に前記仮想音源の位置に対応するものである。
【００１０】
前記対側グループディレーは、前記同側グループディレーを基準に前記聴取者の頭部モデル情報（ｈｅａｄ  ｍｏｄｅｌｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ)を利用して決定された値である。
【００１１】
前記同側グループディレー及び対側グループディレーは、時間領域でサンプリング周波数によるサンプルの整数倍単位である。
【００１２】
前記プロセッサは、時間領域で、前記対側グループディレー及び前記同側グループディレーそれぞれに基づいて、前記オーディオ信号を遅延させて（ｄｅｌａｙ)前記出力オーディオ信号を生成する。
【００１３】
前記プロセッサは、時間領域で、前記第１の一対のＨＲＴＦ及び追加のオーディオ信号に基づいて最終出力オーディオ信号を生成し、前記最終出力オーディオ信号を出力する。前記追加のオーディオ信号の同側グループディレーは、前記第１同側ＨＲＴＦの同側グループディレーと同じであり、前記追加のオーディオ信号の対側グループディレーは、前記第１対側ＨＲＴＦの対側グループディレーと同じである。
【００１４】
前記プロセッサは、前記聴取者を基準にする前記仮想音源の位置によるパニングゲインを獲得し、前記パニングゲインに基づいて前記入力オーディオ信号をフィルタリングし、前記第１同側ＨＲＴＦの同側グループディレー及び前記第１対側ＨＲＴＦの対側グループディレーに基づいて、前記フィルタリングされた入力オーディオ信号を時間遅延させて前記追加のオーディオ信号を生成する。
【００１５】
前記プロセッサは、前記第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成し、同側追加フィルタ及び対側追加フィルタを含む一対の追加フィルタに基づいて前記入力オーディオ信号をフィルタリングして前記追加のオーディオ信号を生成し、時間領域において、前記出力オーディオ信号と前記追加のオーディオ信号をミキシングして前記最終出力オーディオ信号を生成する。前記同側追加フィルタの位相応答は前記第１同側ＨＲＴＦの位相応答と同じであり、前記対側追加フィルタの位相応答は前記第１対側ＨＲＴＦの位相応答と同じである。
【００１６】
前記一対の追加フィルタは前記聴取者を基準にする前記仮想音源の位置によるパニングゲインに基づいて生成されたフィルタであり、前記同側追加フィルタ及び前記対側追加フィルタそれぞれの周波数応答の大きさ成分（ｍａｇｎｉｔｕｄｅ)は一定である。
【００１７】
前記一対の追加フィルタは前記仮想音源がモデリングする物体の大きさ及び前記聴取者から前記仮想音源までの距離に基づいて生成されたものである。
【００１８】
前記第１伝達関数セットが含む複数のＨＲＴＦそれぞれの周波数領域上の位相応答は、複数のＨＲＴＦそれぞれに対応する位置とは関係なく互いに同じ位相応答である。この際、前記プロセッサは、前記仮想音源の位置が前記複数のＨＲＴＦそれぞれに対応する一以外の位置であれば、少なくとも２つ以上のＨＲＴＦの対に基づいて生成された前記第１の一対のＨＲＴＦを獲得し、前記少なくとも２つ以上のＨＲＴＦの対は、前記仮想音源の位置に基づいて前記第1伝達関数セットから獲得されたものである。
【００１９】
前記プロセッサは、時間領域において、前記少なくとも２つ以上のＨＲＴＦの対をインタポレーション（Interpolation)して前記第１の一対のＨＲＴＦを獲得する。
【００２０】
前記プロセッサは、前記第１伝達関数セットではない他の第２伝達関数セットから前記仮想音源の位置に基づいて第２同側ＨＲＴＦ及び第２対側ＨＲＴＦを含む第２の一対のＨＲＴＦを獲得し、前記第１の一対のＨＲＴＦ及び前記第２の一対のＨＲＴＦに基づいて前記出力オーディオ信号を生成する。前記第２同側ＨＲＴＦの位相応答は前記第１同側ＨＲＴＦの位相応答と同じであり、第２対側ＨＲＴＦの位相応答は前記第１対側ＨＲＴＦの位相応答と同じである。
【００２１】
本発明の一実施例によって入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するオーディオ信号処理装置の動作方法は、聴取者を基準にする特定位置にそれぞれ対応する頭部伝達関数からなる伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、同側ＨＲＴＦ及び対側ＨＲＴＦを含む一対のＨＲＴＦを獲得するステップと、前記一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号オ生成するステップと、を含む。前記伝達関数セットが含む複数の同側ＨＲＴＦそれぞれの周波数領域上の位相応答は、音源の位置とは関係なく互いに同じ位相応答である。
【００２２】
本発明の一実施例によるオーディオ信号処理装置は、入力オーディオ信号に基づいて生成された出力オーディオ信号を出力するプロセッサを含む。前記プロセッサは、聴取者を基準にする特定位置それぞれに対応する頭部伝達関数で構成された第１伝達関数セットから、入力オーディオ信号に対応する仮想音源の位置に基づいて、第１同側ＨＲＴＦ及び第１対側ＨＲＴＦを含む第１の一対のＨＲＴＦを獲得し、前記第１同側ＨＲＴＦの周波数領域上の位相応答を前記仮想オ源の位置とは関係なく同じ特定位相応答になるように変更し、前記第１同側ＨＲＴＦの位相応答が変更された第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして、出力オーディオ信号を生成する。前記特定の位相応答は、線形位相応答である。
【００２３】
前記プロセッサは、前記変更された第１同側ＨＲＴＦ位相応答に対応する時間領域上の同側グループディレーを基準に対側グループリレーを決定し、前記対側グループリレーに基づいて前記第１対側ＨＲＴＦの位相応答を変更し、前記位相応答が変更された第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして前記出力オーディオ信号を生成する。この際、前記変更された第１対側ＨＲＴＦの位相応答は、線形位相応答である。
【００２４】
前記プロセッサは、前記聴取者の頭部モデル情報に基づいて前記対側グループディレーを決定する。
【００２５】
前記プロセッサは、前記第１伝達関数セットから獲得された前記第１の一対のＨＲＴＦに基づいて両耳間時間差情報を獲得し、前記両耳間時間差情報に基づいて前記対側グループディレーを決定する。
【００２６】
前記同側グループディレー及び対側グループディレーは、時間領域でサンプリング周波数によるサンプルの整数倍単位である。
【００２７】
前記プロセッサは、時間領域で、前記対側グループディレー及び前記同側グループディレーそれぞれに基づいて、前記オーディオ信号を遅延させて前記出力オーディオ信号を生成する。
【００２８】
前記プロセッサは、時間領域で、前記位相応答が変更された第１の一対のＨＲＴＦ及び追加のオーディオ信号に基づいて最終出力オーディオ信号を生成し、前記最終出力オーディオ信号を出力する。この際、前記追加のオーディオ信号の同側及び対側それぞれのグループディレーは、前記同側グループディレー及び前記対側グループディレーのそれぞれと同じである。
【００２９】
前記プロセッサは、前記聴取者を基準にする前記仮想音源の位置に基づいてパニングゲインを決定し、前記パニングゲインに基づいて前記入力オーディオ信号をフィルタリングし、前記同側グループディレー及び前記対側グループディレーに基づいて、前記フィルタリングされた入力オーディオ信号を時間遅延させて前記追加のオーディオ信号を生成する。
【００３０】
前記プロセッサは、前記位相応答が変更された第１の一対のＨＲＴＦに基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成し、同側追加フィルタ及び対側追加フィルタを含む一対の追加フィルタに基づいて前記入力オーディオ信号をフィルタリングして前記追加のオーディオ信号を生成し、時間領域において、前記出力オーディオ信号と前記追加のオーディオ信号をミキシングして前記最終出力オーディオ信号を生成する。この際、前記同側追加フィルタの位相応答は前記変更された第１同側ＨＲＴＦの位相応答と同じであり、前記対側追加フィルタの位相応答は前記変更された第１対側ＨＲＴＦの位相応答と同じである。
【００３１】
前記同側追加フィルタ及び前記対側追加フィルタそれぞれの周波数応答の大きさ成分は一定である。また、前記プロセッサは、前記聴取者を基準にする前記仮想音源の位置に基づいてパニングゲインを決定し、前記パニングゲインを前記一定な大きさ成分に設定して前記一対の追加フィルタを生成し、前記一対の追加フィルタに基づいて、前記入力オーディオ信号をフィルタリングして前記追加の入力オーディオ信号を生成する。
【００３２】
また、前記プロセッサは、前記仮想音源がモデリングする物体の大きさ及び前記聴取者から前記仮想音源までの距離に基づいて前記一対の追加フィルタを生成し、前記一対の追加フィルタに基づいて、前記入力オーディオ信号をフィルタリングして前記追加の入力オーディオ信号を生成する。
【００３３】
前記第１伝達関数セットが含む複数のＨＲＴＦそれぞれの位相応答は、前記複数のＨＲＴＦとは関係なく互いに同じである。この際前記プロセッサは、前記仮想音源の位置が前記複数のＨＲＴＦそれぞれに対応する位置以外の位置であれば、前記仮想音源の位置に基づいて前記変更された第１伝達関数セットのうちから少なくとも２つ以上のＨＲＴＦの対を獲得し、時間領域において前記少なくとも２つ以上のＨＲＴＦの対をインタポレーションして前記第１の一対のＨＲＴＦを獲得する。
【００３４】
前記プロセッサは、前記第１伝達関数セットではない他の第２伝達関数セットから前記仮想音源の位置に基づいて第２同側ＨＲＴＦ及び第２対側ＨＲＴＦを含む第２の一対のＨＲＴＦを獲得し、前記第２同側ＨＲＴＦの位相応答を前記変更された第１同側ＨＲＴＦの位相応答になるように変更し、前記第２対側ＨＲＴＦの位相応答を前記変更された第１対側ＨＲＴＦの位相応答になるように変更し、前記位相応答が変更された第１の一対のＨＲＴＦ及び前記位相応答が変更された第２の一対のＨＲＴＦに基づいて前記出力オーディオ信号を生成する。
【発明の効果】
【００３５】
本開示の一実施例による装置及び方法は、バイノーラルレンダリング過程で発生するコムフィルタリング効果による温室の劣化を減少することができる。詳しくは、本開示の一実施例による装置及び方法は、複数のフィルタに基づいて入力オーディオ信号をバイノーラルレンダリングして、出力オーディオ信号を生成する過程で発生する音色歪曲を減少させることができる。
【図面の簡単な説明】
【００３６】
【図１】本開示の一実施例によるオーディオ信号処理装置の構成を示すブロック図である。
【図２】本開示の一実施例によるオーディオ信号処理装置の動作を示すブロック図である。
【図３】本開示の一実施例によるオーディオ信号処理装置が原型（ｏｒｉｇｉｎａｌ）ＨＲＴＦ対の位相応答を変更する方法を具体的に示す図である。
【図４】ＨＲＴＦの原型位相応答及び該当原型位相応答が線形化された位相応答を示す図である。
【図５】一対のＨＲＴＦが含む左側及び右側のＨＲＴＦそれぞれの線形化された位相応答を示す図である。
【図６】本開示の一実施例によるオーディオ信号処理装置が両耳間極座標系（Ｉｎｔｅｒａｕｒａｌ  Ｐｏｌａｒ  Ｃｏｏｒｄｉｎａｔｅ、ＩＰＣ）の方位角別ＩＴＤを獲得する方法を示す図である。
【図７】本開示の一実施例によるオーディオ信号処理装置が両耳間極座標系（Ｉｎｔｅｒａｕｒａｌ  Ｐｏｌａｒ  Ｃｏｏｒｄｉｎａｔｅ、ＩＰＣ）の方位角別ＩＴＤを獲得する方法を示す図である。
【図８】本開示の一実施例によってオーディオ信号処理装置が聴取者の頭部モデリング情報を利用してＩＴＤを獲得する方法を示す図である。
【図９】本開示の他の一実施例によってオーディオ信号処理装置が聴取者の頭部モデリング情報を利用してＩＴＤを獲得する方法を示す図である。
【図１０】本開示の一実施例によるオーディオ信号処理装置がオーディオ信号の空間解像度を上げる方法を示す図である。
【図１１】本開示の一実施例によるオーディオ信号処理装置が原型ＨＲＴＦセットから拡張されたＨＲＩＲセットを生成する方法を示す図である。
【図１２】本開示の一実施例によるオーディオ信号処理装置が複数のＨＲＴＦセットに基づいてバイノーラルレンダリングされた出力オーディオ信号を線形結合して最終出力オーディオ信号を生成する方法を示す図である。
【図１３】本開示の一実施例によるオーディオ信号処理装置が複数のＨＲＴＦセットを線形結合して生成されたＨＲＴＦに基づいて最終出力オーディオ信号を生成する方法を示す図である。
【図１４】本開示の他の実施例によるオーディオ信号処理装置がＨＲＴＦ対に対する測定オラーを補正する方法を示す図である。
【図１５】本開示の一実施例によるオーディオ信号処理装置が時間領域で複数のフィルタに基づいて出力オーディオ信号を生成するブロック図である。
【図１６】本開示の一実施例によるオーディオ信号処理装置がパニングゲインを利用してバイノーラル効果の強度を調節する方法を示す図である。
【図１７】聴取者を基準に、方位角による左側及び右側それぞれのパニングゲインを示す図である。
【図１８】本開示の一実施例によるオーディオ信号処理装置が周波数領域で第１のフィルタ及び第２フィルタに基づいて出力オーディオ信号を生成するブロック図である。
【図１９】図１７及び図１８を介して獲得された出力オーディオ信号を時間領域で示したグラフである。
【図２０】本開示の一実施例によるオーディオ信号処理装置が同側、対側ごとに一致した位相応答に基づいて出力オーディオ信号を生成する方法を示すブロック図である。
【図２１】本開示の一実施例によるオーディオ信号処理装置がＨＲＴＦ及び追加フィルタに基づいて出力オーディオ信号を生成する方法を示すブロック図である。
【図２２】空間フィルタによる音響効果の例を示す図である。
【図２３】本開示の一実施例によるオーディオ信号処理装置が複数のフィルタに基づいて出力オーディオ信号を生成する方法を示す図である。
【図２４】コムフィルタリング効果による音質の劣化を示す図である。
【図２５】本開示の一実施例によるオーディオ信号処理装置が複数のフィルタを結合して結合フィルタを生成する方法を示す図である。
【図２６】本開示の一実施例によるオーディオ信号処理装置が複数のフィルタを周波数領域でインタポレーションして生成した結合フィルタを示す図である。
【図２７】本開示の一実施例による空間フィルタの周波数応答の例示である。
【図２８】本開示の一実施例によるオーディオ信号処理装置が上述したＨＲＴＦ、パニングフィルタ及び空間フィルタに基づいて最終出力オーディオ信号を生成する方法を示す図である。
【図２９】複数の仮想音源に対応する複数のＨＲＴＦそれぞれの位相応答が互いにマッチしない場合、またはマッチした場合それぞれについて、出力オーディオ信号の周波数応答の大きさ成分を例示する図である。
【図３０】複数の仮想音源に対応する複数のＨＲＴＦそれぞれの位相応答が互いにマッチしない場合、またはマッチした場合それぞれについて、出力オーディオ信号の周波数応答の大きさ成分を例示する図である。
【発明を実施するための形態】
【００３７】
以下、添付した図面を参照し本発明の実施例について本発明が属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本発明は様々な異なる形態に具現されることができ、ここで説明する実施例に限らない。そして、図面において、本発明を明確にするために説明とは関係のない部分は省略しており、明細書全体にわたって類似した部分に対しては類似した図面符号をつけている。
【００３８】
また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことを意味する。
【００３９】
本開示は、オーディオ信号処理装置画入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する方法に関する。本開示の一実施例によるオーディオ信号処理装置は、入力オーディオ信号に対応する位相応答（ｐｈａｓｅ  ｒｅｓｐｏｎｓｅ)が変更されたバイノーラル伝達関数対（ｂｉｎａｕｒａｌ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ  ｐａｉｒ)に基づいて出力オーディオ信号を生成する。位相応答は、周波数応答の位相成分を示す。また、オーディオ信号処理装置は、初期のバイノーラル伝達関数対の位相応答を変更してもよい。本開示の一実施例によるオーディオ信号処理装置は、調整された位相応答を有する伝達関数を介してバイノーラルレンダリング過程で発生するコムフィルタリング効果を緩和する。また、オーディオ信号処理装置は、入力オーディオ信号の音像定位性能を維持しながらも、同時に音色歪曲を緩和することができる。本開示において、伝達関数は頭部伝達関数を含む。
【００４０】
以下、本発明に添付した図面を参照して、本発明を詳細に説明する。
【００４１】
図１は、本開示の一実施例によるオーディオ信号処理装置１００の構成を示すブロック図である。一実施例によって、オーディオ信号処理装置１００は受信部１１０、プロセッサ１２０、及び出力部１３０を含む。しかし、図１に示した構成要素全てがオーディオ信号処理装置の必須的な構成要素ではない。オーディオ信号処理装置１００は、図１に示されていない構成要素を追加に含んでもよい。それだけでなく、図１に示したオーディオ信号処理装置１００の構成要素のうち少なくとも一部が省略されてもよい。
【００４２】
受信部１１０は、オーディオ信号を受信する。受信部１１０は、オーディオ信号処理装置１００に入力される入力オーディオ信号を受信する。受信部は、プロセッサ１２０によるバイノーラルレンダリングの対象となる入力オーディオ信号を受信する。ここで、入力オーディオ信号は、アンビソニック信号、オブジェクト信号、またはチャネル信号のうち少なくとも一つを含む。この際、オーディオ信号は１つのオブジェクト信号またはモノ信号であってもよい。入力オーディオ信号は、マルチオブジェクトまたはマルチチャネル信号であってもよい。一実施例によって、オーディオ信号処理装置１００が別途のデコーダを含む場合、オーディオ信号処理装置１００は入力オーディオ信号の符号かされたビットストリームを受信してもよい。
【００４３】
一実施例によって、受信部１１０は丹生勅オーディオ信号を受信するための受信手段を備える。例えば、受信部１１０は有線で伝送される入力オーディオ信号を受信するオーディオ信号入力端子を含む。受信部１１０は無線で伝送される入力オーディオ信号を受信する無線オーディオ受信モジュールを含んでもよい。この場合、受信部１１０はブルートゥース(登録商標)（ｂｌｕｅｔｏｏｔｈ)またはワイファイ（Ｗｉ−Ｆｉ）通信方法を利用して、無線で伝送されるオーディオ信号を受信する。
【００４４】
プロセッサ１２０は、オーディオ信号処理装置１００の全般的な動作を制御する。プロセッサ１２０は、オーディオ信号処理装置１００の各構成要素を制御する。プロセッサ１２０は、各種データと信号の演算及び処理を行う。プロセッサ１２０は、半導体チップまたは電子回路の形でハードウェアとして具現されるか、ハードウェアを制御するソフトウェアで具現されてもよい。プロセッサ１２０は、ハードウェアと前記ソフトウェアが結合された形で具現されてもよい。例えば、プロセッサ１２０は少なくとも一つのプログラムを実行することで、受信部１１０及び出力部１３０の動作を制御する。また、プロセッサ１２０は少なくとも一つのプログラムを実行して、後述する図２乃至図３０を介して説明されるオーディオ信号処理装置の動作を行う。
【００４５】
例えば、プロセッサ１２０は、出力オーディオ信号を生成する。プロセッサ１２０は、受信部１１０を介して受信された入力オーディオ信号をバイノーラルレンダリングして、出力オーディオ信号を生成する。プロセッサ１２０は、後述する出力部１３０を介して出力オーディオ信号を出力する。一実施例によって、出力オーディオ信号はバイノーラルオーディオ信号である。例えば、出力オーディオ信号は、入力オーディオ信号が３次元空間に位置する仮想音源で表現される２チャネルオーディオ信号である。プロセッサ１２０は、後述する伝達関数対に基づいて、入力オーディオ信号をバイノーラルレンダリングする。この際、プロセッサ１２０は、時間ドメインまたは周波数ドメイン上でバイノーラルレンダリングを行う。
【００４６】
一実施例によって、プロセッサ１２０は、入力オーディオ信号をバイノーラルレンダリングして２チャネル出力オーディオ信号を生成する。例えば、プロセッサ１２０は、聴取者の両耳にそれぞれ対応する２チャネル出力オーディオ信号を生成する。この際、２チャネル出力オーディオ信号はバイノーラル２チャネル出力オーディオ信号である。プロセッサ１２０は、上述した入力オーディオ信号に対してバイノーラルレンダリングを行って、３次元上で表現されるオーディオヘッドホン信号を生成する。
【００４７】
一実施例によって、プロセッサ１２０は、伝達関数対に基づいて、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。伝達関数対は、少なくとも一つの伝達関数を含む。例えば、伝達関数対は、聴取者の両耳それぞれに対応する一対の伝達関数を含む。伝達関数対は、同側伝達関数及び対側伝達関数を含む。詳しくは、伝達関数対は、同側耳のための出力チャネルに対応する同側ＨＲＴＦ、及び対側耳のための出力チャネルに対応する対側ＨＲＴＦを含む。以下では、説明の便宜上、特別は記載がない限り、伝達関数（またはＨＲＴＦ）対が含む少なくとも一つの伝達関数のうちいずれか一つを示す用語として、伝達関数（またはＨＲＴＦ）を利用する。
【００４８】
一実施例によって、プロセッサ１２０は、入力オーディオ信号に対応する仮想音源の位置に基づいて伝達関数対を決定する。この際、プロセッサ１２０はオーディオ信号処理装置１００ではない他の装置（図示せず）から伝達関数対を獲得する。例えば、プロセッサ１２０は複数の伝達関数を含むデータベースから少なくとも一つの伝達関数を受信する。データベースは、複数の伝達関数対を含む伝達関数セットを貯蔵する外部の装置であってもよい。この際、オーディオ信号処理装置１００はデータベースに伝達関すを要請し、データベースから伝達関数に関数情報を受信する別途の通知部（図示せず）を含んでもよい。プロセッサ１２０は、オーディオ信号処理装置１００に貯蔵された伝達関数セットに基づいて入力オーディオ信号に対応する伝達関数対を獲得してもよい。プロセッサ１２０は、獲得した伝達関数対に基づいて入力オーディオ信号をバイノーラルレンダリングし、出力オーディオ信号を生成する。
【００４９】
一実施例によって、プロセッサ１２０の出力オーディオ信号に対するポストプロセッシングが追加に行われる。ポストプロセッシングにはクローストークの除去、ＤＲＣ（Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｃｏｎｔｒｏｌ）、音量正規化、ピークの制限などが含まれる。また、ポストプロセッシングはプロセッサ１２０の出力オーディオ信号に対する周波数／時間ドメインの変換を含む。オーディオ信号処理装置１００はポストプロセッシングを行う別途のポストプロセッシング部を含み、他の実施例によってポストプロセッシング部はプロセッサ１２０に含まれてもよい。
【００５０】
出力部１３０は、出力オーディオ信号を出力する。出力部１３０は、プロセッサ１２０によってしえ制された出力オーディオ信号を出力する。出力部１３０は、少なくとも一つの出力チャネルを含む。ここで、出力オーディオ信号は、聴取者の両耳にそれぞれ対応する２チャネル出力オーディオ信号である出力オーディオ信号は、バイノーラル２チャネル出力オーディオ信号である。出力部１３０は、プロセッサ１２０によって生成された３Ｄオーディオヘッドホン信号を出力する。
【００５１】
一実施例によって、出力部１３０は出力オーディオ信号を出力するための出力手段を備える。例えば、出力部１３０は出力オーディオ信号を外部に出力するための出力端子を備える。この際、オーディオ信号処理装置１００は、出力端子に連結された外部装置に出力オーディオ信号を出力する。出力部１３０は、出力オーディオ信号を外部に出力する無線オーディオ送信モジュールを含む。この場合、出力部１３０はブルートゥース(登録商標)またはワイファイのような無線通信方法を利用して、外部装置に出力オーディオ信号を出力する。出力部１３０は、スピーカを含む。この際、オーディオ信号処理装置１００は、スピーカを介して出力オーディオ信号を出力する。また、出力部１３０は、デジタルオーディオ信号をアナログオーディオ信号に変換するコンバータ（例えば、ｄｉｇｉｔａｌ−ｔｏ−ａｎａｌｏｇ  ｃｏｎｖｅｒｔｅｒ、ＤＡＣ）を追加に含んでもよい。
【００５２】
仮想現実におけるバイノーラルレンダリングされたオーディオ信号は、再現性を上げるために追加的な信号と組み合わせられる。それによって、オーディオ信号処理装置は複数のフィルタに基づいて入力オーディオ信号をバイノーラルレンダリングするバイノーラルフィルタを生成する。また、オーディオ信号処理装置は、複数のフィルタに基づいてフィルタリングされたオーディオ信号を合成する。この際、複数のフィルタの周波数応答間の位相特性の差（つまり、時間領域における時間遅延差）によって最終生成された出力オーディオ信号の品質化低下する恐れがある。コムフィルタリング効果により、出力オーディオ信号の音色が歪曲するためである。
【００５３】
それによって、オーディオ信号処理装置は、聴取者を基準にする特定位置それぞれに対応する位置別（ｐｏｓｉｔｉｏｎ−ｓｐｅｃｉｆｉｃ)ＨＲＴＦの位相応答を変更する（ｍｏｄｉｆｙ)。例えば、位置別ＨＲＴＦは、聴取者を基準にする単位球面上の位置それぞれに対応するＨＲＴＦを含む。本開示の一実施例によると、オーディオ信号処理装置は、同側ＨＲＴＦの位相を互いに一致するように変更した伝達関数セットを利用して、入力オーディオ信号をバイノーラルレンダリングする。オーディオ信号処理装置は、位置別同側ＨＲＴＦの位相応答それぞれを互いに同じ線形位相応答（ｌｉｎｅａｒ  ｐｈａｓｅ  ｒｅｓｐｏｎｓｅ)になるように同期化する。また、オーディオ信号処理装置は、位置別対側ＨＲＴＦの位相応答それぞれを線形化する。
【００５４】
以下では、本開示の一実施例によるオーディオ信号処理装置の動作方法について、図２を参照して説明する。図２は、本開示の一実施例によるオーディオ信号処理装置の動作を示すブロック図である。一実施例によって、オーディオ信号処理装置は、入力オーディオ信号をバイノーラルレンダリングＳ１０１して出力オーディオ信号を生成する。オーディオ信号処理装置は、伝達関数セットから獲得されたＨＲＴＦ対に基づいて入力オーディオ信号をバイノーラルレンダリングする。詳しくは、オーディオ信号処理装置は、聴取者を基準にする位置別複数のＨＲＴＦを含むＨＲＴＦセットを獲得する。オーディオ信号処理装置は、オーディオ信号処理装置または外部の装置を介して測定されたＨＲＴＦセットを獲得する。本開示において、「頭部伝達関数」は、入力オーディオ信号のバイノーラルレンダリングに利用されるバイノーラル伝達関数を称する用語として使用される。また、バイノーラル伝達関数は、ＩＴＦ（Ｉｎｔｅｒａｕｒａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）、ＭＩＴＦ（Ｍｏｄｉｆｉｅｄ  ＩＴＦ）、ＢＲＴＦ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）、ＲＩＲ（Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）、ＢＲＩＲ（Ｂｉｎａｕｒａｌ  Ｒｏｏｍ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）、ＨＲＩＲ（Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）及びこれの変形及び編集されたデータのうち少なくとも一つを含むが、本開示はこれに限らない。例えば、バイノーラル伝達関数は複数のバイノーアル伝達関数を線形結合して獲得した２次的バイノーラル伝達関数をふくんでもよい。ＨＲＴＦはＨＲＩＲを高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）したものであってもよいが、変換方法はこれに限らない。
【００５５】
ＨＲＴＦは、無響室で測定されたものであってもよい。また、ＨＲＴＦはシミュレーションで推定されたＨＲＴＦに関する情報を含んでもよい。ＨＲＴＦを推定するのに使用されるシミュレーション技法は、球状ヘッドモデル（Ｓｐｈｅｒｉｃａｌ  Ｈｅａｄ  Ｍｏｄｅｌ、ＳＨＭ）、スノーマンモデル（ｓｎｏｗｍａｎ  ｍｏｄｅｌ）、有限差分時間領域技法（Ｆｉｎｉｔｅ−Ｄｉｆｆｅｒｅｎｃｅ  Ｔｉｍｅ−Ｄｏｍａｉｎ  Ｍｅｔｈｏｄ、ＦＤＴＤＭ）及び境界要素法（Ｂｏｕｎｄａｒｙ  Ｅｌｅｍｅｎｔ  Ｍｅｔｈｏｄ、ＢＥＭ）のうち少なくとも一つである。この際、球状ヘッドモデルは人の頭が球状であると仮定してシミュレーションするシミュレーション技法を指す。また、スノーマンモデルは頭と体が球状であると仮定してシミュレーションするシミュレーション技法を指す。
【００５６】
また、ＨＲＴＦセットは予め設定された間隔ごとに該当角度に対応するＨＲＴＦ対を含んでもよい。例えば、予め設定された角度間隔は１度または１０度間隔であってもよいが、本開示はこれに限らない。本開示において、角度は方位各、高度角、及びそれらの組み合わせを含む。例えば、ＨＲＴＦセットは予め設定された値を半径にする球の中心を基準に方位各及び高度角の組み合わせそれぞれに対応する頭部伝達関数を含む。また、本開示において、方位各及び高度角を定義する座標系は、垂直極座標系（Ｖｅｒｔｉｃａｌ  Ｐｏｌａｒ  Ｃｏｏｒｄｉｎａｔｅ、ＶＰＣ）、または両耳間極座標系のうちいずれか一つが使用されてもよい。また、オーディオ信号処理装置は、予め設定された角度間隔ごとに定義されたＨＲＴＦ対を利用して、予め設定された角度間隔間の角度に対応するＨＲＴＦ対を獲得する。それについては、図１０乃至図１１を介して後述する。
【００５７】
一実施例によって、オーディオ信号処理装置は、位相応答が変更された伝達関数セット（ＨＲＴＦ’セット）を獲得する。例えば、オーディオ信号処理装置は獲得された伝達関数セット（ＨＲＴＦセット）から位相応答が変更された伝達関数セット（ＨＲＴＦ’セット）を生成する。オーディオ信号処理装置は、外部装置から位相応答が変更された伝達関数セット（ＨＲＴＦ’セット）または一対のＨＲＴＦを獲得してもよい。また、オーディオ信号処理装置は、位相応答が変更された伝達関数セット（ＨＲＴＦ’セット）に基づいて入力オーディオ信号をバイノーラルレンダリングする。
【００５８】
例えば、オーディオ信号処理装置は、位相応答が変更されたＨＲＴＦ’を獲得Ｓ１０２する。詳しくは、オーディオ信号処理装置は、伝達関数セットから入力オーディオ信号に対応するＨＲＴＦ対を獲得する。例えば、オーディオ信号処理装置は、聴取者を基順位入力オーディオ信号に対応する仮想音源の位置に基づいて、入力オーディオ信号をシミュレーションする少なくとも一対のＨＲＴＦを獲得する。入力オーディオ信号に対応する花王音源が複数であれば、入力オーディオ信号に対応するＨＲＴＦ対は複数の数である。また、オーディオ信号処理装置は、一つの仮想音源の位置に基づいて複数のＨＲＴＦ対を獲得してもよい。例えば、仮想音源がシミュレーションする物体の大きさが予め設定された大きさ以上であれば、オーディオ信号処理装置は複数のＨＲＴＦ対に基づいて出力オーディオ信号を獲得する。また、一つのＨＲＴＦは、互いに異なる位置に対応する同側ＨＲＴＦ及び対側ＨＲＴＦからなってもよい。例えば、オーディオ信号処理装置は、入力オーディオ信号に対応する仮想音源の位置に基づいて、互いに異なる位置に対応する同側ＨＲＴＦ及び対側ＨＲＴＦを獲得してもよい。
【００５９】
次に、オーディオ信号処理装置は、ＨＲＴＦ対の位相応答を変更する。また、オーディオ信号処理装置は、位相応答が変更されたＨＲＴＦ’セットをオーディオ信号処理装置の外部の装置から受信してもよい。この場合、オーディオ信号処理装置は、変更されたＨＲＴＦ’セットから位相応答が変更されたＨＲＴＦ’対を獲得してもよい。次に、オーディオ信号処理装置は、位相応答が変更されたＨＲＴＦ’対に基づいて入力オーディオ信号をバイノーラルレンダリングする。以下、図３乃至図３０を介して説明されるオーディオ信号処理装置の動作のうち少なくとも一部は、他の装置によって行われてもよい。例えば、後述する伝達関数それぞれに対する位相応答変更は、オーディオ信号処理装置の外部の装置を介して行われてもよい。この場合、オーディオ信号処理装置は、変更された位相特性を有する伝達関数を外部の装置から受信してもよい。また、オーディオ信号処理装置は、変更された位相特性を有する伝達関数に基づいて出力オーディオ信号生成してもよい。
【００６０】
以下では、本開示の一実施例によるオーディオ信号処理装置が獲得したＨＲＴＦセットが含む複数のＨＲＴＦそれぞれの位相応答を変更する方法について、図３乃至図９を参照して説明する。説明の便宜上、獲得されたＨＲＴＦセットが含む複数のＨＲＴＦ対のうちからいずれか一対に関する処理方法を例に挙げて説明する。以下で説明されるオーディオ信号処理装置の動作方法は、ＨＲＴＦセットが含まれるＨＲＴＦ対全体に対して適用可能である。
【００６１】
図３は、本開示の一実施例によるオーディオ信号処理装置が原型（ｏｒｉｇｉｎａｌ）ＨＲＴＦ対の位相応答を変更する方法を具体的に示す図である。この際、原型ＨＲＴＦ対は、測定されたＨＲＴＦを示す。一実施例によって、オーディオ信号処理装置は、獲得された原型ＨＲＴＦ対を分析する。オーディオ信号処理装置は、上述したＨＲＴＦセットから入力オーディオ信号に対応する仮想音源の位置に基づいて原型ＨＲＴＦ対を獲得する。この際、ＨＲＴＦセットは聴取者を基準にする特定位置それぞれに対応するＨＲＴＦ対を含む。また、ＨＲＴＦ対は同側ＨＲＴＦ及び対側ＨＲＴＦを含む。以下では、説明の便宜上、同側または対側に対する限定がないＨＲＴＦの場合、同側ＨＲＴＦ及び対側ＨＲＴＦのうちからいずれか一つを示すとする。図３を参照すると、オーディオ信号処理装置は、同側及び対側ＨＲＴＦそれぞれの大きさ応答（ｍａｇｎｉｔｕｄｅ  ｒｅｓｐｏｎｓｅ）（Ａ）及び位相応答（ｐｈｉ）を区分して処理する。大きさ応答は、周波数応答の大きさ成分を示す。また、位相応答は、周波数応答の位相成分を示す。
【００６２】
次に、オーディオ信号処理装置は、原型ＨＲＴＦの位相応答を変更して最終ＨＲＴＦ対を獲得する。本開示において、位相応答の変更は位相応答の置換、代替、または一部周波数ビン（ｂｉｎ)に対応する位相値の修正を含む。また、ＨＲＴＦセットが含む複数のＨＲＴＦのうち一部の対しては、位相応答が維持されてもよい。詳しくは、オーディオ信号処理装置は、同側原型ＨＲＴＦの位相応答を共通の同側位相応答と設定して、最終同側ＨＲＴＦを獲得する。ここで、共通の同側位相応答は、一つのＨＲＴＦセットが含む複数の同側ＨＲＴＦのための単一の位相応答である。
【００６３】
例えば、オーディオ信号処理装置は、聴取者を基準にする位置別ＨＲＴＦそれぞれの位相応答それぞれを、同側ＨＲＴＦそれぞれに対応する位置とは関係なく同じ特定位相応答になるように設定してもよい。オーディオ信号処理装置は、最終同側ＨＲＴＦの位相応答を入力オーディオ信号に対応する仮想音源の位置とは関係なく、同じ共通の同側位相応答に一致させる。人間の聴覚の場合、人間の両耳間の音の大きさの差及び到達時間の差に基づいて音源の位置が認知されるためである。それによって、オーディオ信号処理装置は、同側及び対側のうちいずれか一方の位相応答を位置とは関係ない応答に固定する。それによって、オーディオ信号処理装置は貯蔵すべきデータ量を減少させることができる。例えば、オーディオ信号処理装置は、同側ＨＲＴＦの位相応答を固定する。オーディオ信号のエネルギーが対側に比べ同側でより大きいためである。また、オーディオ信号処理装置は、位置別ＨＲＴＦ対が含む同側ＨＲＴＦ及び対側ＨＲＴＦの位相応答間の差に基づいて固定されていない方の位相応答を設定する。一実施例によって、共通の同側位相応答は線形的な特性を有する線形応答であってもよい。それについては、図４乃至図５を介して後述する。
【００６４】
また、オーディオ信号処理装置は、対側原型ＨＲＴＦの位相応答を変更して、最終対側ＨＲＴＦを獲得する。オーディオ信号処理装置は、同側と対側の位相差を示す両耳間位相差（ｉｎｔｅｒａｕｒａｌ  ｐｈａｓｅ  ｄｉｆｆｅｒｅｎｃｅ、ＩＰＤ）に基づいて、最終対側ＨＲＴＦのための対側位相応答を獲得する。例えば、オーディオ信号処理装置は、最終同側ＨＲＴＦの位相応答に基づいて、基準とする対側位相応答を決定する。
【００６５】
詳しくは、オーディオ信号処理装置は、聴取者を基準にする位置別ＩＰＤに基づいて、入力オーディオ信号に対応するＩＰＤを獲得する。オーディオ信号処理装置は、同側原型ＨＲＴＦと対側原型ＨＲＴＦ間の位相差を演算し、オーディオ信号に対応するＩＰＤを獲得してもよい。オーディオ信号処理装置は、周波数ビン別の同側ＨＲＴＦと対側ＨＲＴＦの位相応答間の差に基づいて、対側位相応答を獲得する。一方、ＨＲＴＦの位相応答変形は、時間領域で行われてもよい。例えば、オーディオ信号処理装置は、ＨＲＴＦから変換されたＨＲＩＲにグループディレーを適用してもよい。それについては、図６乃至図９を介して後述する。次に、オーディオ信号処理装置は、互いに区分して処理された大きさ応答（Ａ）、及び変更された位相応答（ｐｈｉ’）に基づいて、最終ＨＲＴＦ対（ＨＲＴＦ’  ｐａｉｒ)を生成する。この際、最終ＨＲＴＦ対は複素数形態（Ａ＊ｅｘｐ（ｊ＊ｐｈｉ＿ｌ）、Ａ＊ｅｘｐ（ｊ＊ｐｈｉ＿ｃ））の応答で表される。
【００６６】
一方、原型ＨＲＴＦセットが含む同側原型ＨＲＴＦの位相応答は、周波数別位相応答の勾配が一定ではない可能性がある。測定誤差または被測定者に対して過度にあわせる（ｏｖｅｒ  ｆｉｔｔｉｎｇ)ことのため、原型ＨＲＴＦの位相応答が理想的な線形位相応答になりにくいためである。この場合、周波数ビン別位相値の差のため、時間領域でＨＲＴＦ周波数ビン別時間遅延（ｔｉｍｅ  ｄｅｌａｙ)が異なるようになり、追加の音色歪曲が発生する恐れがある。一実施例によって、オーディオ信号処理装置は、周波数領域における位相特性が線形化された同側ＨＲＴＦに基づいて、出力オーディオ信号を生成する。図３を介して上述した実施例において、オーディオ信号処理装置は、複数の同側ＨＲＴＦのための共通の同側位相応答を線形化する。つまり、オーディオ信号処理装置は、ＨＲＴＦの周波数ビン別時間遅延を一致させる。それを介して、オーディオ信号処理装置は、周波数成分別に時間遅延が異なるようになって発生する音色歪曲を減少することができる。以下では、図４乃至図５を参照して、オーディオ信号処理装置がＨＲＴＦの位相応答を線形化（ｌｉｎｅａｒｉｚａｔｉｏｎ)する方法について説明する。
【００６７】
図４は、ＨＲＴＦの原型位相応答及び該当原型位相応答が線形化された位相応答を示す図である。図４において、ＨＲＴＦの原型位相応答は、アンラッピング位相応答（ｕｎｗｒａｐｐｉｎｇ  ｐｈａｓｅ  ｒｅｓｐｏｎｓｅ)の形に示されている。オーディオ信号処理装置は、アンラッピング位相応答を利用してＨＲＴＦの位相応答を線形化する。図４を参照すると、オーディオ信号処理装置は、ＤＣ（ｄｉｒｅｃｔ  ｃｕｒｒｅｎｔ）周波数ビンに対応するＨＲＴＦの位相値と、ナイキスト（Ｎｙｑｕｉｓｔ)周波数ビンに対応するＨＲＴＦの位相値を連結して、ＨＲＴＦの位相応答を線形位相応答に近似化する。詳しくは、オーディオ信号処理装置は、［数式１］のような方法でＨＲＴＦの位相応答を線形化する。
【００６８】
［数式１］
ｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ［ｋ］＝（ｐｈｉ＿ｕｎｗｒａｐ［ＨＮ］−ｐｈｉ＿ｕｎｗｒａｐ［０］）／ＨＮ＊ｋ＋ｐｈｉ＿ｕｎｗｒａｐ［０］、ここで、ｋは整数で０≦ｋ≦ＨＮ
【００６９】
［数式１］において、ｋは周波数ビンのインデックスを示す。また、ＨＮはナイキスト周波数ビンを示し、ｐｈｉ＿ｕｎｗｒａｐ［ＨＮ］はナイキスト周波数ビンにおけるアンラッピング位相値を示す。ｐｈｉ＿ｕｎｗｒａｐ［０］は周波数ビンＤＣに対応するアンラッピング位相値を示し、ｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ［ｋ］は周波数ビンｋに対応する線形化されたアンラッピング位相値を示す。［数式１］でのように、オーディオ信号処理装置は、位相応答の線形近似化された勾配を利用して、周波数ビン別位相値を獲得する。オーディオ信号処理装置は、アンラッピングされた位相応答を位相軸から（−π、π）の間の値になるようにラッピング（ｗｒａｐｐｉｎｇ)して、位相応答を獲得してもよい。また、オーディオ信号処理装置は、図３のように別途処理された大きさ応答とラッピング位相応答に基づいて最終ＨＲＴＦを獲得する。
【００７０】
図５は、一対のＨＲＴＦが含む左側及び右側のＨＲＴＦそれぞれの線形化された位相応答を示す図である。図５において、左側ＨＲＴＦは同側ＨＲＴＦで、右側ＨＲＴＦは対側ＨＲＴＦである。同側オーディオ信号のグループディレーがより短く、それによって同側ＨＲＴＦの位相応答の勾配の絶対値が対側ＨＲＴＦに比べ小さい可能性があるためである。図５において、左側及び右側ＨＲＴＦ間の周波数ビン（ｋ）別位相値の差（ＩＰＤ［ｋ］）は、［数式２］のように表される。［数式２］は、左側及び右側のＨＲＴＦの位相応答が線形化された場合、ＩＰＤを示す。［数式２］において、ｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ、ｌｅｆｔ［ｋ］及びｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ、ｒｉｇｈｔ［ｋ］は、それぞれ周波数ビンｋにおける左側及び右側ＨＲＴＦのアンラッピング位相値を示す。
【００７１】
［数式２］
ＩＰＤ［ｋ］＝ｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ、ｌｅｆｔ［ｋ］−ｐｈｉ＿ｕｎｗｒａｐ、ｌｉｎ、ｒｉｇｈｔ［ｋ］
【００７２】
図５において、左側ＨＲＴＦと右側ＨＲＴＦそれぞれの位相応答間の勾配の差は、時間領域でグループディレーの差で表される。例えば、同側及び対側ＨＲＴＦの位相応答間の勾配の差が大きいほど、同側及び対側グループディレー間の差が大きい。また、オーディオ信号処理装置がＨＲＩＲグループディレーを適用する場合、該当ＨＲＴＦの位相応答は線形位相応答になる。ここで、グループディレーは、時間領域でＨＲＩＲが含むフィルタ係数を共通に遅延させる遅延時間を示す。また、ＨＲＴＦの位相応答が零位相応答（ｚｅｒｏ  ｐｈａｓｅ  ｒｅｐｏｎｓｅ)であれば、オーディオ信号処理装置は、決定されたグループディレーに対して別途の修正なしにＨＲＩＲに適用する。以下では、オーディオ信号処理装置が線形化された対側位相応答に対応する対側グループディレーを獲得する方法について説明する。
【００７３】
上述したように、本開示の一実施例によるオーディオ信号処理装置は、ＨＲＴＦの位相応答を変更する過程のうち少なくとも一部分を時間領域で行う。例えば、オーディオ信号処理装置は、ＨＲＴＦを時間領域における応答であるＨＲＩＲに変換する。この際、ＨＲＴＦの位相応答は零位相応答である。零位相応答の場合、後述する内容のようにオーディオ信号処理に必要な演算量を減少させるためである。オーディオ信号処理装置は、ＨＲＴＦに対してＩＦＦＴ（ｉｎｖｅｒｓｅ  ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）を行ってＨＲＩＲを獲得する。次に、オーディオ信号処理装置は、グループディレーに基づいて同側及び対側ＨＲＩＲそれぞれを時間遅延させて、ＨＲＴＦの位相応答を変更してもよい。また、グループディレーが適用されたＨＲＩＲを更に周波数領域応答であるＨＲＴＦに変換する場合、ＨＲＴＦの位相応答は上述した線形位相応答である。
【００７４】
詳しくは、オーディオ信号処理装置は、同側グループディレーに基づいて時間領域で原型ＨＲＴＦを遅延させて、最終同側ＨＲＴＦを生成する。この際、同側グループディレーは、ＨＲＴＦがシミュレーションする仮想音源の位置とは無関係の値である。例えば、同側グループディレーは、入力オーディオ信号のフレームサイズ（ｆｒａｍｅ  ｓｉｚｅ）に基づいて設定された値である。また、フレームサイズは一つのフレームが含むサンプルの個数を示す。それを介して、オーディオ信号処理装置は、時間「０」を基準にフレームサイズから逸脱するＨＲＩＲのフィルタ個数を防止することができる。オーディオ信号処理装置は、一つのＨＲＩＲセットが含む複数の同側ＨＲＩＲらに対して同じ同側グループディレーを適用する。オーディオ信号処理装置は、同側グループディレーに基づいて同側ＨＲＩＲを時間遅延させて、最終同側ＨＲＩＲを獲得する。また、オーディオ信号処理装置は、同側グループディレーが適用されたＨＲＩＲ周波数領域に変換して、最終同側ＨＲＴＦを獲得してもよい。
【００７５】
また、オーディオ信号処理装置は、対側グループディレーに基づいて時間領域で対側ＨＲＩＲを遅延させて、最終対側ＨＲＩＲを生成する。この際、対側グループディレーは、同側グループディレーとは異なって、対側ＨＲＴＦがシミュレーションする仮想音源の位置に基づいて設定された値である。聴取者を基準に入力オーディオ信号に対応する仮想音源の位置に基づいて、同側と対側のオーディオ信号の到達時間の差を示す両耳間時間差が異なり得るためである。オーディオ信号処理装置は、聴取者を基準にする位置別に、該当位置の両耳間時間差に基づいて対側ＨＲＩＲに適用するための対側グループディレーを決定する。この際、対側グループディレーは、同側グループディレー時間に聴取者を基準に入力オーディオ信号に対応する仮想音源の位置によるＩＴＤ時間の追加されたものである。
【００７６】
また、オーディオ信号処理装置は、対側グループディレーが適用されたＨＲＩＲ周波数領域に変換して、最終対側ＨＲＴＦを獲得する。この際、対側ＨＲＴＦの位相応答の勾配が増加するほど、対側グループディレー値が増加する。また、オーディオ信号処理装置は、同側ＨＲＩＲのグループディレー及びＩＴＤに基づいて聴取者を基準にする位置別に互いに異なる対側グループディレーを決定する。以下では、本開示の一実施例によるオーディオ信号処理装置がＩＴＤを獲得する方法について、図６乃至図９を参照して詳細に説明する。
【００７７】
一実施例によって、オーディオ信号処理装置は、同側及び対側ＨＲＩＲ（またはＨＲＴＦ）間の相関度に基づいてＩＴＤ（またはＩＰＤ）を獲得する。この際、ＨＲＩＲは個人化されたＨＲＩＲである。同側及び対側ＨＲＩＲ（またはＨＲＴＦ）間の相互相関度（ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ)は聴取者の頭部モデルに応じて異なり得るためである。また、オーディオ信号処理装置は、聴取者の頭部モデルに基づいて測定された応答である個人化されたＨＲＩＲを使用してＩＲＤを獲得してもよい。オーディオ信号処理装置は、下記［数式３］のように、同側及び対側ＨＲＩＲ間の相互相関度に基づいてＩＴＤを演算する。
【００７８】
［数式３］
ｍａｘＤｅｌａｙ＝ｘｃｏｒｒ（ＨＲＩＲ＿ｃｏｎｔ、ＨＲＩＲ＿ｉｐｓｉｌ）、
ＩＴＤ＝ａｂｓ（ｍａｘＤｅｌａｙ−ＨＲＩＲ＿ｌｅｎｇｔｈ）
【００７９】
［数式３］において、ｘｃｏｒｒ（ｘ、ｙ）は、ｘとｙ間の遅延時間別相互相関度のうち最も高い相互相関度に対応する遅延時間のインデックス（ｍａｘＤｅｌａｙ）を出力する関数である。また、［数式３］において、ＨＲＩＲ＿ｃｏｎｔ及びＨＲＩＲ＿ｉｐｓｉｌは、それぞれ対側ＨＲＩＲ及び同側ＨＲＩＲであり、ＨＲＩＲ＿ｌｅｎｇｔｈはＨＲＩＲのフィルタ時間領域における長さを示す。
【００８０】
図６及び図７は、本開示の一実施例によるオーディオ信号処理装置が両耳間極座標系（Ｉｎｔｅｒａｕｒａｌ  Ｐｏｌａｒ  Ｃｏｏｒｄｉｎａｔｅ、ＩＰＣ）の方位角別ＩＴＤを獲得する方法を示す図である。一実施例によって、オーディオ信号処理装置は、ＩＰＣ方位各によるサジタル平面（ｓａｇｉｔｔａｌ  ｐｌａｎｅまたはｃｏｎｓｔａｎｔ  ａｚｉｍｕｔｈ  ｐｌａｎｅ)６１０に対応するＩＴＤを獲得する。この際、サジタル平面は、中央平面（ｍｅｄｉａｎ  ｐｌａｎｅ)と平行する平面である。また、中央平面は水平平面６２０と直角でありながら、水平平面と同じ中心を有する平面である。
【００８１】
詳しくは、オーディオ信号処理装置は、第１方位各６３０に対応するサジタル平面と聴取者を中心にする単位球が当たる複数の地点６０１、６０２、６０３、６０４それぞれに対応する高度角別ＩＴＤを獲得する。この際、複数の地点６０１、６０２、６０３、６０４は、ＩＰＣで同じ方位各及び互いに異なる高度角を有する。また、オーディオ信号処理装置は、高度角別ＩＴＤに基づいて第１方位角に対応する共通のＩＴＤを獲得する。例えば、オーディオ信号処理装置は、高度格別ＩＴＤの平均値、中央値または最頻値のうちいずれか一つを第１方位角６３０に対応するグループＩＴＤとして使用する。この場合、オーディオ信号処理装置は、グループＩＴＤに基づいて第１方位角に対応し互いに異なる高度角を有する複数の対側ＨＲＴＦに同じく適用される対側グループディレーを決定する。
【００８２】
［数式４］は、オーディオ信号処理装置が高度角別ＩＴＤの中央値をグループＩＴＤとして使用する場合におけるオーディオ信号処理装置の演算過程を示す。
【００８３】
［数式４］
ｔ＿ｃｏｎｔ＝ｍｅｄｉａｎ｛ａｒｇｍａｘ＿ｔ（ｘｃｏｒｒ（ＨＲＩＲ＿ｃｏｎｔ（ｎ、ａ、ｅ）、ＨＲＩＲ＿ｉｐｓｉｌ（ｎ、ａ、ｅ）））−ＨＲＩＲ＿ｌｅｎｇｔｈ｝＋ｔ＿ｐｅｒｓ＋ｔ＿ｉｐｓｉｌ
【００８４】
［数式４］において、ｘｃｏｒｒ（ｘ、ｙ）は、ｘとｙ間の遅延時間別相互相関度のうち最も高い相互相関度に対応する遅延時間のインデックス（ｍａｘＤｅｌａｙ）を出力する関数である。また、［数式4］において、ＨＲＩＲ＿ｃｏｎｔ及びＨＲＩＲ＿ｉｐｓｉｌは、それぞれ対側ＨＲＩＲ及び同側ＨＲＩＲであり、ＨＲＩＲ＿ｌｅｎｇｔｈはＨＲＩＲのフィルタ時間領域における長さを示す。また、ｔ＿ｐｅｒｓは聴取者別個人化のための追加ディレー、ａは方位角インデックス、ｅは高度角インデックス、ｔ＿ｉｐｓｉｌは同側グループディレーを示す。図７は、［数式４］によって左側及び右側ＨＲＴＦそれぞれに適用されるグループディレーを方位角に応じて示した例示である。図７において、仮想音源の位置が方位角０度から１８０度までであれば、聴取者の左側は対側に当たり、聴取者の右側は同側に当たる。また、仮想音源の位置が方位角180度から360度までであれば、聴取者の左側は同側に当たり、聴取者の右側は対側に当たる。
【００８５】
一実施例によって、オーディオ信号処理装置は、聴取者の頭部モデリング情報に基づいて対側位相応答を獲得してもよい。両耳間時間差は、聴取者の頭部形状によって異なり得るためである。オーディオ信号処理装置は、聴取者の頭部モデリング情報を使用して個人化された対側グループディレーを決定する。例えば、オーディオ信号処理装置は、聴取者の頭部モデリング情報及び聴取者を基準に、入力オーディオ信号に対応する仮想音源の位置に基づいて対側グループディレーを決定する。
【００８６】
図８は、本開示の一実施例によってオーディオ信号処理装置が聴取者の頭部モデリング情報を利用してＩＴＤを獲得する方法を示す図である。頭部モデリング情報は、聴取者の頭部に基づいて近似化された球（ａｐｐｒｏｘｉｍａｔｅｄ  ｓｐｈｅｒｅ)の半径（つまり、頭部サイズ情報）、及び聴取者の両耳の位置のうち少なくとも一つが含まれるが、本開示はこれに限らない。オーディオ信号処理装置は、聴取者の頭部サイズ情報、聴取者の頭部の方向を基準にする仮想音源の位置、及び聴取者と仮想音源間の距離のうち少なくとも一つに基づいてＩＴＤを獲得する。ここで、聴取者と仮想音源間の距離は、聴取者の中心から音源までの距離、または聴取者の同側／対側の耳から音源までの距離である。詳しくは、仮想音源から聴取者の同側及び対側の耳まで音響が到達する時間（ｔａｕ＿ｉｐｓｉｌ、ｔａｕ＿ｃｏｎｔ）は、［数式５］のように表される。
【００８７】
［数式５］
ｄ＿ｃｏｎｔ＝ｓｑｒｔ（（１ｍ）＾２＋ｒ＾２−２＊ｒ＊ｃｏｓ（９０＋ａｂｓ（ｔｈｅｔａ）））
ｔａｕ＿ｃｏｎｔ＝ｄ＿ｃｏｎｔ／ｃ
ｄ＿ｉｐｓｉｌ＝ｓｑｒｔ（（１ｍ）＾２＋ｒ＾２−２＊ｒ＊ｃｏｓ（９０−ａｂｓ（ｔｈｅｔａ）））
ｔａｕ＿ｉｐｓｉｌ＝ｄ＿ｉｐｓｉｌ／ｃ
ここで、ｃは音の速度（３４３ｍ／ｓ）−９０＜ｔｈｅｔａ＜９０
【００８８】
［数式５］において、ｒは聴取者の頭部を近似化した球の半径である。または、ｒは聴取者の頭部中心から両耳までの距離を示してもよい。この場合、聴取者の頭部中心から同側及び対側の耳までの距離は、互いに異なる値であってもよい（例えば、ｒ１及びｒ２）。また、１ｍは聴取者の頭部中心から入力オーディオ信号に対応する仮想音源までの距離を示す。ｄ＿ｃｏｎｔは聴取者の対側の耳からｋ層音源までの距離を示し、ｄ＿ｉｐｓｉｌは聴取者の同側の耳から仮想音源までの距離を示す。オーディオ信号処理装置は、聴取者を基準にする位置別に、実際に測定された個人化されたＩＴＤに基づいて対側グループディレーを決定してもよい。
【００８９】
図９は、本開示の他の一実施例によってオーディオ信号処理装置が聴取者の頭部モデリング情報を利用してＩＴＤを獲得する方法を示す図である。図９の実施例において、対側に対応する聴取者の左側に音が到達する時間（Ｔ＿Ｌ）と左側ＨＲＴＦの位相応答（ｐｈｉ＿Ｌ)との間の関係、及び同側に対応する聴取者の右側に音が到達する時間（Ｔ＿Ｒ）と右側ＨＲＴＦの位相応答（ｐｈｉ＿Ｒ)との間の関係は、［数式６］のようである。
【００９０】
［数式６］
ｐｈｉ＿Ｌ＝−ｗ・Ｔ＿Ｌ
ｐｈｉ＿Ｒ＝＝−ｗ・Ｔ＿Ｒ
【００９１】
［数式６］において、ｗは各周波数を意味する。ｐｈｉ＿Ｌとｐｈｉ＿Ｒは、それぞれｗに対する微分（ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ)値が−Ｔ＿Ｌと−Ｔ＿Ｒで一定である。それによって、左側及び右側それぞれのグループディレーは周波数領域全体でそれぞれ同じである。オーディオ信号処理装置は、仮想音源の位置及び頭部サイズ情報に基づいて、Ｔ＿Ｌ及びＴ＿Ｒを獲得する。例えば、オーディオ信号処理装置は、仮想音源と右側耳までの距離（ｄ）、聴取者の頭部を近似化した球の半径（ｒ）に基づいて、［数式７］のように演算してＴ＿Ｌ及びＴ＿Ｒを獲得する。
【００９２】
［数式７］
Ｔ＿Ｒ＝ｄ／ｃ
Ｔ＿Ｌ＝Ｔ＿Ｒ＋（ｒ＋ｐｉ＊ｒ／２）／ｃ、ｐｉは円周率
【００９３】
また、一実施例によって、オーディオ信号処理装置は、獲得したＩＴＤ以外に追加ディレーを加算して修正されたＩＴＤ’を算出してもよい。例えば、オーディオ信号処理装置は、聴取者と音源との間の角度に応じて互いに異なる追加ディレー（Ｄｅｌａｙ＿ａｄｄ）を加算し、修正されたＩＴＤ’を算出してもよい。［数式８］は、聴取者と音源の位置によって決定される方位各（ａｚｉｍｕｔｈ)に対する区間を分離し、追加ディレーを加算する方法を示す。［数式８］において、ｓｌｏｐｅは方位各の区間別に使用者入力に基づいて設定された位相応答の勾配を示す。また、ｒｏｕｎｄ（ｘ）はｘ値を四捨五入して演算した結果を出力する関数を示し、ｄ１及びｄ２はそれぞれの方位各区間における位相応答の勾配を決定するパラメタを示す。例えば、オーディオ信号処理装置は、ユーザ入力に基づいてｄ１とｄ２それぞれの値を設定する。
【００９４】
［数式８］
ＩＴＤｓ’＝ＩＴＤｓ＋Ｄｅｌａｙ＿ａｄｄ
Ｄｅｌａｙ＿ａｄｄ＝ｒｏｕｎｄ（ｓｌｐｏｅ＊ａｚｉｍｕｔｈ）
Ｓｌｏｐｅ＝１／ｄ１、０≦ａｚｉｍｕｔｈ≦４５（０＜ｄ１で、ｄ１は整数）
１／ｄ２、４５≦ａｚｉｍｕｔｈ≦９０（０＜ｄ２で、ｄ２は整数）
【００９５】
また、一実施例によって、グループディレーは、サンプリング周波数（ｓａｍｐｌｉｎｇ  ｆｒｅｑｕｅｎｃｙ)を基準に整数個のサンプルに対応するディレー時間である。この場合、特性が変更されたオーディオ信号の追加的な活用度を上げることができるためである。オーディオ信号処理装置は、サンプルの整数倍単位の同側及び対側グループディレーを設定する。また、フレームサイズを逸脱するサンプルが発生すれば、オーディオ信号処理装置は、ＨＲＩＲサンプルの前側からピーク地点を基準にフレームサイズを逸脱するサンプルに対称の領域を切り出す（ｔｒｕｎｃａｔｉｏｎ）。それを介して、オーディオ信号処理装置は、フレームサイズを逸脱するサンプルによって発生する音いつの劣化を減少することができる。
【００９６】
一方、聴取者を中心にする仮想の３次元空間上の全ての地点をカバーするバイノーラルレンダリングを行うために、オーディオ信号処理装置は、全ての地点に対応するＨＲＴＦを獲得する必要がある。しかし、測定過程における制約的な事項及び貯蔵可能なデータの養老が制限されるため、仮想の３次元空間上の全ての地点に対応するＨＲＴＦを獲得するためには、追加の処理過程が必要である。また、測定基板のＨＲＴＦであれば、測定過程で大きさ応答及び位相応答の誤差が発生する恐れがあり、追加的な処理過程が必要となる。
【００９７】
それによって、オーディオ信号処理装置は、予め獲得されたＨＲＴＦを利用して予め獲得された複数のＨＲＴＦそれぞれの位置以外の位置に対応するＨＲＴＦを生成する。それを介して、オーディオ信号処理装置は、仮想の３次元空間で再現されるオーディオ信号の空間解像度を上げ、大きさ応答及び位相応答のエラーを補正する。以下では、本開示の一実施例によるオーディオ信号処理装置が獲得したＨＲＴＦセットが含む複数のＨＲＴＦそれぞれに対応する位置以外の位置に対応するＨＲＴＦを獲得する方法について、図１０乃至図１４を参照して説明する。
【００９８】
図１０は、本開示の一実施例によるオーディオ信号処理装置がオーディオ信号の空間解像度を上げる方法を示す図である。一実施例によって、オーディオ信号処理装置は、Ｍ個の位置それぞれに対応する原型ＨＲＴＦ対を含む原型ＨＲＴＦセットを獲得する。オーディオ信号処理装置は、原型ＨＲＴＦセットに基づいて、Ｎ個の位置それぞれに対応するＨＲＴＦ対を含む拡張されたＨＲＴＦ対を獲得する。この際、ＮはＭより大きい整数である。また、拡張されたＨＲＴＦセットは、原型ＨＥＴＦセット以外に（Ｎ−Ｍ）個の追加されたＨＲＴＦ対を含む。この際、オーディオ信号処理装置は、原型ＨＲＴＦセットに含まれたＭ個のＨＲＴＦそれぞれの位相応答を変更して、拡張されたＨＲＴＦセットを構成する。この際、オーディオ信号処理装置は、上述した図２に乃至図９で説明した方法で、原型ＨＲＴＦセットに含まれたＨＲＴＦそれぞれの位相応答を変更する。
【００９９】
また、オーディオ信号処理装置は、原型ＨＲＴＦ対を処理する過程において、追加しようとするＨＲＴＦの個数（Ｎ−Ｍ）、追加しようとするＨＲＴＦの位置、またはグループディレーのうち少なくとも一つに対する入力を受信する。詳しくは、原型ＨＲＴＦセットは予め設定された角度間隔の角度別ＨＲＴＦを含む。この際、角度は聴取者を中心にする単位球面上の方位各または高度角のうち少なくとも一つである。また、予め設定された角度間隔は、高度角方向の角度間隔及び方位各方向の角度間隔を含む。この際、高度角方向と方位各方向に対する角度間隔を互いに異なるように設定してもよい。
【０１００】
例えば、オーディオ信号処理装置は、予め設定された角度間隔による第１角度と第２角度との間に対応するＨＲＴＦを獲得してもよい。詳しくは、第１角度と第２角度は方位各が互いに同じであり、予め設定された角度間隔だけ離れた互いに異なる高度角を有する。この際、オーディオ信号処理装置は、第１角度に対応する第１ＨＲＴＦと第２角度に対応する第２ＨＲＴＦをインタポレーションして、第１角度と第２角度との間の異なる高度角に対応する第３ＨＲＴＦを生成する。上述した方法で、オーディオ信号処理装置は、第１角度と第２角度との間に位置する複数の地点それぞれに対応する複数のＨＲＴＦを生成する。ここではインタポレーションの対象となるＨＲＴＦの個数を２つに説明しているが、これは例示に過ぎず、本開示はこれに限らない。特定位置に隣接した複数のＨＲＴＦをインタポレーションして、特定位置に対応するＨＲＴＦを獲得することができる。
【０１０１】
この際、上述したように、オーディオ信号処理装置が複数のＨＲＴＦを周波数領域でインタポレーションする場合、オーディオ信号処理装置で処理されるフーリエ変換及び逆フーリエ変換のための演算量が増加する。これによって、本開示の一実施例によるオーディオ信号処理装置は、原型ＨＲＴＦセットが含む複数の原型ＨＲＴＦそれぞれの位相応答を変更する。また、オーディオ信号処理装置は、位相応答が変更された複数のＨＲＴＦを時間領域でインタポレーションして、拡張されたＨＲＩＲセットを生成する。それによって、オーディオ信号処理装置は不必要な演算量を減少させることができる。以下では、オーディオ信号処理装置がオーディオ信号の空間解像度を上げる方法について、図１１を参照して詳細に説明する。
【０１０２】
図１１は、本開示の一実施例によるオーディオ信号処理装置が原型ＨＲＴＦセットから拡張されたＨＲＩＲセットを生成する方法を示す図である。ステップＳ１１０２において、オーディオ信号処理装置は、原型ＨＲＴＦセットが含む複数の原型ＨＲＴＦそれぞれの位相応答を初期化（ｉｎｉｔｉａｌｉｚａｔｉｏｎ)する。オーディオ信号処理装置は、複数の原型ＨＲＴＦそれぞれの位相応答を互いに同じ位相応答になるように変更する。オーディオ信号処理装置は、聴取者を基準にする音源の位置それぞれに対応する原型ＨＲＴＦそれぞれの位相応答を音源の位置とは関係なく同じ位相応答になるように一致させる。この場合、時間領域で複数のＨＲＩＲは同じサンプル時間にピーク値を有するようになる。それによって、オーディオ信号処理装置が時間領域で複数の互いに異なる音源の位置に対応するＨＲＴＦを線形組み合わせする場合、オーディオ信号処理装置は、同じサンプル時間に一つのピーク値を有するバイノーラルフィルタを生成する。また、オーディオ信号処理装置は、周波数領域で互いに同じ位相特性を有するＨＲＴＦとは異なる伝達関数を線形組み合わせる場合にも、同じサンプル時間で一つのピーク値を有するバイノーラルフィルタを生成する。
【０１０３】
例えば、同じ位相応答は零位相応答である。零位相応答であれば、ＨＲＴＦに基づいてバイノーラルレンダリングするために必要な演算家庭が容易になるためである。ＨＲＴＦが零位相応答であれば、時間領域でのＨＲＩＲは時間「０」でピーク値を有するようになる。それを介して、本開示の一実施例によるオーディオ信号処理装置は、時間領域で複数のＨＲＩＲに対するインタポレーションを行って、出力オーディオ信号を生成するための演算量を減少させることができる。同時に、オーディオ信号処理装置は、上述したコムフィルタリングによる音色歪曲を減少させることができる。
【０１０４】
一実施例によって、オーディオ信号処理装置は、時間領域での応答であればＨＲＩＲ形態のＨＲＴＦ設置を獲得する。この場合、ステップＳ１１０１において、オーディオ信号処理装置は、獲得されたＨＲＴＦセットが含む原型ＨＲＩＲを周波数領域における応答に変換する。例えば、オーディオ信号処理装置は、円形ＨＲＩＲに対してＦＦＴを行って、周波数領域の原型ＨＲＴＦを獲得する。また、オーディオ信号処理装置は、周波数領域応答に変換された原型ＨＲＴＦに対して上述した位相応答初期化を行い、位相応答が初期化されたＨＲＴＦを獲得する。
【０１０５】
ステップＳ１１０４において、オーディオ信号処理装置は、位相応答が初期化されたＨＲＴＦを時間領域応答に変換し、位相応答が初期化されたＨＲＩＲらを獲得する。オーディオ信号処理装置は、位相応答が初期化されたＨＲＴＦに対してＩＦＦＴを行い、位相応答が初期化されたＨＲＩＲらを獲得する。ステップＳ１１０６において、オーディオ信号処理装置は、少なくとも２つ以上の位相応答が初期化されたＨＲＩＲらを時間領域でインタポレーションし、原型ＨＲＴＦが対応する位置以外の位置に対応するＨＲＩＲ’を生成する。上述したように、位相応答が初期化された複数のＨＲＴＦそれぞれに対応する複数のＨＲＩＲらそれぞれのピーク値の時間的位置が互いに一致するためである。この際、オーディオ信号処理装置は、追加しようとするＨＲＴＦの位置に基づいて追加しようとする個数（Ｎ−Ｍ）のＨＲＩＲ’らを生成する。以下では、位相応答が初期化されたＨＲＩＲら及び追加に生成されたＨＲＩＲ’らを含むＨＲＩＲセットを第１ＨＲＩＲセットと称する。
【０１０６】
ステップＳ１１０８において、オーディオ信号処理装置は、第１ＨＲＩＲセットが含む複数の第１ＨＲＩＲそれぞれにグループディレーを適用し、拡張されたＨＲＩＲセットを生成する。ＨＲＩＲのピーク値が時間「０」に位置すれば（つまり、ＨＲＴＦの位相応答が零位相であれば）、オーディオ信号処理装置は、設定されたグループディレーを、ステップＳ１１０６で獲得された、複数の第１ＨＲＩＲそれぞれに別途の修正なしに適用する。オーディオ信号処理装置は、図３乃至図９を介して説明された同側及び対側別グループディレー獲得方法に基づいて、複数の第１ＨＲＩＲそれぞれに適用されるグループディレーを獲得する。
【０１０７】
例えば、オーディオ信号処理装置は、音源の位置とは関係なく同じ値である同側グループディレーに基づき、第１ＨＲＩＲセットが含む複数の同側ＨＲＩＲらそれぞれを時間遅延させる。この際、同側グループディレーは、フレームサイズを基盤に設定された値である。また、オーディオ信号処理装置は、上述したＩＴＤに基づいて第１ＨＲＩＲセットが含む複数の対側ＨＲＴＦに適用される対側グループディレーを決定する。この際、対側グループディレーは、同側グループディレーに聴取者を基準に入力オーディオ信号に対応する仮想音源の位置によるＩＴＤ時間の追加されたものである。それを介して、オーディオ信号処理装置は、原型ＨＲＴＦセットに基づいて、原型ＨＲＴＦセットより多い個数のＨＲＴＦを含む拡張されたＨＲＴＦセットを獲得する。また、オーディオ信号処理装置は、聴取者を中心にする仮想の３次元空間上において、オーディオ信号処理装置の空間解像度を演算量及び音色歪曲面で効率的に増加させる。オーディオ信号処理装置は、オーディオ信号の空間解像度を増加させて音像定位性能を上げる。
【０１０８】
一方、図１１において、位相応答初期化過程は省略されてもよい。例えば、オーディオ信号処理装置は、複数のＨＲＴＦそれぞれの位相応答が初期化されたＨＲＴＦセットを獲得する。オーディオ信号処理装置は、聴取者を基準にする音源の位置それぞれに対応する複数のＨＲＴＦそれぞれの位相応答が互いに同じＨＲＴＦセットを獲得する。オーディオ信号処理装置は、図１を介して上述した、ＨＲＴＦセットを貯蔵するデータベースから位相応答が初期化されたＨＲＴＦセットを獲得する。また、オーディオ信号処理装置は、オーディオ信号処理装置に貯蔵されて位相応答が初期化されたＨＲＴＦセットを使用してもよい。
【０１０９】
以下では、本開示の一実施例によるオーディオ信号処理装置が複数のＨＲＴＦセットに基づいて最終出力オーディオ信号を生成する方法について説明する。それによって、オーディオ信号処理装置は、測定を介して獲得したＨＲＴＦの大きさ応答及び位相応答のエラーを補正する。図１２は、本開示の一実施例によるオーディオ信号処理装置が複数のＨＲＴＦセットに基づいてバイノーラルレンダリングされた出力オーディオ信号を線形結合して最終出力オーディオ信号を生成する方法を示す図である。
【０１１０】
一実施例によって、オーディオ信号処理装置は、第１ＨＲＴＦセットとは異なる第２ＨＲＴＦセットを獲得する。この際、第１ＨＲＴＦセットは、図１１の過程を介してそれぞれの位相応答が変更された複数のＨＲＴＦを含む。また、第１ＨＲＴＦセットと第２ＨＲＴＦセットは互いに異なる方式で獲得されたＨＲＴＦセットである。例えば、第１ＨＲＴＦセットと第２ＨＲＴＦセットは互いに異なる形態の頭部モデルを使用して測定されたＨＲＩＲセットである。図１２のように、オーディオ信号処理装置が第１ＨＲＩＲセット及び第２ＨＲＩＲセットを獲得すれば、オーディオ信号処理装置は、第１ＨＲＩＲセット及び第２ＨＲＩＲセットそれぞれが含む複数のＨＲＩＲらそれぞれに対してＦＦＴを行い、第１ＨＲＴＦセット及び第２ＨＲＴＦセットを獲得する。
【０１１１】
次に、オーディオ信号処理装置は、位相情報に基づいて第２ＨＲＴＦセットが含む複数の第２ＨＲＴＦ対それぞれの位相応答を第１ＨＲＴＦセットが含む複数の第１ＨＲＴＦ対それぞれの位相応答に設定する。例えば、オーディオ信号処理装置は、位置別に第２ＨＲＴＦそれぞれの位相応答が第１ＨＲＴＦ対の位相応答と一致させる。オーディオ信号処理装置は、第１及び第２ＨＲＴＦ対それぞれに対応する位置に基づいて、複数の第１ＨＲＴＦ対と複数の第２ＨＲＴＦ対をマッチさせる。例えば、複数の第１ＨＲＴＦ対のうち第１位置に対応する第１ＨＲＴＦ対と、複数の第２ＨＲＴＦ対のうち第１位置に対応する第２ＨＲＴＦ対は互いにマッチする。オーディオ信号処理装置は、位相情報に基づいて複数のの第２ＨＲＴＦ対それぞれの位相応答をマッチする複数の第１ＨＲＴＦ対それぞれの位相応答に設定する。ここで、位相情報は、オーディオ信号処理装置は外部の装置に貯蔵された位置別第１ＨＲＴＦ対それぞれの位相応答情報である。位相情報は、ルックアップテーブル（ｌｏｏｋ−ｕｐ  ｔａｂｌｅ)の形に貯蔵されてもよい。
【０１１２】
第１ＨＲＴＦ対は、第１同側ＨＲＴＦ及び第１対側ＨＲＴＦを含む。また、第２ＨＲＴＦ対は、第２同側ＨＲＴＦ及び第２対側ＨＲＴＦを含む。第１ＨＲＴＦ対と第２ＨＲＴＦ対は、それぞれ第１位置に対応するＨＲＴＦ対である。例えば、オーディオ信号処理装置は、第１同側ＨＲＴＦと第２同側ＨＲＴＦのの位相応答を一致させる。また、オーディオ信号処理装置は、第１対側ＨＲＴＦと第２対側ＨＲＴＦのの位相応答を一致させる。オーディオ信号処理装置は、第２ＨＲＴＦ対それぞれの位相応答を第１ＨＲＴＦ対それぞれの位相応答と設定し、この位相応答がマッチされた第２ＨＲＴＦ’対を生成する。
【０１１３】
次に、オーディオ信号処理装置は、複数の第２ＨＲＴＦ対のうちいずれか一つに基づいて入力オーディオ信号をバイノーラルレンダリングして第１出力オーディを生成する（図１２の第１レンダリング）。また、オーディオ信号処理装置は、複数の第２ＨＲＴＦ’対のうちいずれか一つに基づいて入力オーディオ信号をバイノーラルレンダリングして第２出力オーディを生成する（図１２の第２レンダリング）。この際、入力オーディオ信号が時間領域のサンプルであれば、オーディオ信号処理装置は、入力オーディオ信号を周波数領域信号に変換するＦＦＴ過程を追加に行う。次に、オーディオ信号処理装置は、第１出力オーディオ信号及び第２出力オーディオ信号を合成し、最終出力オーディオ信号を生成する。また、オーディオ信号処理装置は、周波数領域の最終出力オーディオ信号についてＩＦＦＴを行い、時間領域の最終オーディオ信号に変換する。
【０１１４】
一方、個別的なレンダリングを介して生成されたオーディオ信号を合成する方法以外に、複数のＨＲＴＦを線形結合して（ｃｏｍｂｉｎｅ)一つの結合されたＨＲＴＦを生成してもよい。この場合、オーディオ信号を合成する方法に比べ、レンダリングに必要な演算量を減少させることができる。図１３は、本開示の一実施例によるオーディオ信号処理装置が複数のＨＲＴＦを線形結合して生成されたＨＲＴＦに基づいて最終出力オーディオ信号を生成する方法を示す図である。
【０１１５】
一実施例によって、オーディオ信号処理装置は、上述した位相応答がマッチされた第２ＨＲＴＦ’対と第１ＨＲＴＦ対を線形結合して結合されたＨＲＴＦを生成する。ここで、線形結合は中央値または平均（ｍｅａｎ)のうちいずれか一つを意味する。例えば、オーディオ信号処理装置は、同側（対側）第１ＨＲＴＦと同側（対側）第２ＨＲＴＦ’それぞれの大きさ応答に基づき、周波数ビン別に演算して同側（対側）結合されたＨＲＴＦを獲得する。第１ＨＲＴＦ対と第２ＨＲＴＦ’対は、位相応答がマッチされているため、別途の線形結合演算を要求しない。次に、オーディオ信号処理装置は、結合されたＨＲＴＦに基づいて入力オーディオ信号をバイノーラルレンダリングし、周波数領域の最終出力オーディオ信号を生成する。また、オーディオ信号処理装置は、周波数領域の最終出力オーディオ信号についてＩＦＦＴを行い、時間領域の最終オーディオ信号を生成する。
【０１１６】
図１４は、本開示の他の実施例によるオーディオ信号処理装置がＨＲＴＦ対に対する測定オラーを補正する方法を示す図である。図１４の（ａ）を参照すると、同側ＨＲＴＦの周波数応答の大きさより対側ＨＲＴＦの周波数応答の大きさがより大きい逆転区間１４０１が発生する。入力オーディオ信号に対応する仮想音源から、聴取者の対側は聴取者の同側より相対的に距離が遠いため、逆転区間１４０１は測定誤差に当たる。それによって、本開示の一実施例によるオーディオ信号処理装置は、逆転区間１４０１に含まれた周波数ビンに対応する対側ＨＲＴＦの大きさの値を予め設定された値に変更する。例えば、予め設定された値は、大きさの逆転が発生しない始める周波数ビンに対応する大きさの値である。図１４の（ｂ）を参照数と、オーディオ信号処理装置は、逆転区間１４０１に含まれた周波数ビンに対応する同側ＨＲＴＦの大きさの値を、対側ＨＲＴＦの大きさの値より大きいか同じ値に変更する。それを介して、オーディオ信号処理装置は、一部周波数に対応する音が聴取者の同側より対側でより大きく聞こえる現象を防止し、聴取者により正確な方向感を提供することができる。
【０１１７】
一方、オーディオ信号処理装置は、バイノーラルレンダリングされたオーディオ信号の表現力を上げるために追加の信号と合成する。また、オーディオ信号処理装置は、出力オーディオ信号の表現力を上げる追加フィルタとＨＲＴＦを合成したフィルタに基づいて、オーディオ信号をバイノーラルレンダリングする。本開示において、追加の信号は追加フィルタに基づいて生成されたオーディオ信号である。例えば、オーディオ信号処理装置は、客体オーディオ信号に対応する仮想音源の位置による頭部伝達関数以外に、一つ以上のフィルタを追加に使用して出力オーディオ信号を生成する。この際、追加フィルタとＨＲＴＦの位相相当が一致しなければ、コムフィルタ効果による音質劣化が発生する恐れがある。
【０１１８】
図１５は、本開示の一実施例によるオーディオ信号処理装置が時間領域で複数のフィルタに基づいて出力オーディオ信号を生成するブロック図である。以下、図１５乃至図２８に関する実施例において、第１フィルタは上述したＨＲＴＦまたはＨＲＩＲである。また、第２フィルタ乃至第Ｎフィルタは追加フィルタを称する。一実施例によって、オーディオ信号処理装置は、入力オーディオ信号のための同側及び対側を含む一対のゲイン及び位相応答からなる追加フィルタを獲得する。また、オーディオ信号処理装置は、複数の追加フィルタを利用して出力オーディオ信号を生成する。
【０１１９】
この際、オーディオ信号処理装置は、図３に乃至図９で上述した方法で、位相応答が変更された第１フィルタを獲得する。例えば、オーディオ信号処理装置は、獲得された同側及び対側ＨＲＴＦそれぞれの位相応答を線形化し、同側第１フィルタ及び対側第１フィルタを生成する。また、オーディオ信号処理装置は、複数の追加フィルタそれぞれの位相応答を第１フィルタの位相応答とマッチする。それを介して、オーディオ信号処理装置は、時間領域において、複数のフィルタに基づいてフィルタリングされたオーディオ信号を音色の歪曲なしにミキシングすることができる。図１５を参照すると、オーディオ信号処理装置は、第１乃至第Ｎフィルタを利用して、複数のバイノーラル出力オーディオ信号を生成する。次に、オーディオ信号処理装置は、複数のバイノーラル出力オーディオ信号をミキシングして、最終出力オーディオ信号を生成する。この際、オーディオ信号処理装置は、複数のバイノーラル出力オーディオ信号それぞれがミキシングされる割合を示すミキシングゲインに基づいて、複数のバイノーラルオーディオ信号をミキシングする。一方、ミキシングゲインは、後述するフィルタ結合過程において、複数のフィルタそれぞれが結合フィルタに反映される割合で使用されてもよい。
【０１２０】
また、複数の追加フィルタそれぞれは、互いに異なる効果のためのフィルタである。例えば、複数の追加フィルタは、図１２乃至図１３を介して上述した互いに異なる方式で獲得された複数のＨＲＴＦ（ＨＲＩＲ）を含む。複数の追加フィルタは、ＨＲＴＦ以外の他のフィルタを含んでもよい。例えば、複数の追加フィルタは、バイノーラル効果強度（ｂｉｎａｕｒａｌ  ｅｆｆｅｃｔ  ｓｔｒｅｎｇｔｈ、以下「ＢＥＳ」）を調節するパニングフィルタを含んでもよい。複数の追加フィルタは、入力オーディオ信号に対応する仮想音源の大きさ及び聴取者から仮想音源までの距離を再現するフィルタを含む。以下では、オーディオ信号処理装置がＨＲＴＦとパニングフィルタを利用して出力オーディオ信号を生成する方法について、図１６乃至図２１を参照して説明する。
【０１２１】
図１６は、本開示の一実施例によるオーディオ信号処理装置がパニングゲインを利用してバイノーラル効果の強度を調節する方法を示す図である。一実施例によって、オーディオ信号処理装置は、追加フィルタを使用してＨＲＴＦに基づいてバイノーラルレンダリングされたオーディオ信号のバイノーラル効果強度を調節する。この際、追加フィルタは同側及び対側それぞれに対応するフラット応答である。ここで、フラット応答は、ドメインにおける一定な大きさを有するフィルタ応答である。例えば、オーディオ信号処理装置は、パニングゲイン（ｐａｎｎｉｎｇ  ｇａｉｎ)を利用して同側及び対側それぞれに対応するフラット応答を獲得する。
【０１２２】
図１６において、オーディオ信号処理装置は、第１フィルタ（ＨＲＩＲ）に基づいて入力オーディオ信号をバイノーラルレンダリングして、第１出力オーディオ信号（ＨＲＩＲ＿Ｌ、ＨＲＩＲ＿Ｒ）を生成する。また、オーディオ信号処理装置は、パニングゲイン（ｉｎｔｅｒａｃｔｉｖｅ  ｐａｎｎｉｎｇ  ｇａｉｎ（θ、Φ））に基づいて入力オーディオ信号をバイノーラルレンダリングして、第２出力オーディオ信号（Ｐ＿Ｌ、Ｐ＿Ｒ）を生成する。次に次に、オーディオ信号処理装置は、第１出力オーディオ信号と第２出力オーディオ信号をミキシングし、最終出力オーディオ信号を生成する。オーディオ信号処理装置は、それぞれのオーディオ信号がミキシングされる割合を示すミキシングゲイン（ｇ＿Ｈ、ｇ＿Ｉ）に応じて、第１出力オーディオ信号と第２出力オーディオ信号をミキシングする。オーディオ信号処理装置が最終出力オーディオ信号（ｏｕｔｐｕｔ＿Ｌ、Ｒ）を生成する方法は、［数式９］のように表される。
【０１２３】
［数式９］
ｏｕｔｐｕｔ＿Ｌ、Ｒ＝ｇ＿Ｈ・ｓ（ｎ）＊ｈ＿Ｌ、Ｒ（ｎ）＋ｇ＿ｌ・ｓ（ｎ）・ｐ＿Ｌ、Ｒ
【０１２４】
［数式９］において、ｇ＿Ｈは第１出力オーディオ信号（ＨＲＩＲ＿Ｌ、ＨＲＩＲ＿Ｒ）のミキシングゲインである。また、ｇ＿Ｉは第２出力オーディオ信号（Ｐ＿Ｌ、Ｐ＿Ｒ）のミキシングゲインである。ｐ＿Ｌ、Ｒは左側または右側チャネルのパニングゲインを示し、ｈ＿Ｌ、Ｒは左側または右側ＨＲＩＲを示す。ｎは０より大きくて全体サンプルの個数より小さい整数であり、ｓ（ｎ）はｎ番目のサンプルにおける入力オーディオ信号を示す。また、＊はコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）を示す。この際、オーディオ信号処理装置は、フーリエ変換及び逆フーリエ変換を介し、高速コンボリューション方法によって入力オーディオ信号をフィルタリングする。図１７は、聴取者を基準に、方位角による左側及び右側それぞれのパニングゲインを示す図である。
【０１２５】
一実施例によって、オーディオ信号処理装置は、同側及び対側ゲインに対してエネルギーが補償されたフラット応答を生成する。フラット応答のエネルギーレベルの変化に応じて、出力オーディオ信号のエネルギーレベルが入力オーディオ信号のエネルギーレベルに比べ過度に変形される恐れがあるためである。例えば、オーディオ信号処理装置は、入力オーディオ信号の仮想音源に対応する同側及び対側ＨＲＴＦの大きさ応答に基づいてパニングゲインを生成する。オーディオ信号処理装置は、［数式１０］のように演算して、左側及び右側それぞれに対応するパニングゲイン（ｐ＿Ｌ、ｐ＿Ｒ）を獲得する。例えば、オーディオ信号処理装置は、線形パニング（ｌｉｎｅａｒ  ｐａｎｎｉｎｇ)方法、または一定パワーパニング（ｃｏｎｓｔａｎｔ  ｐｏｗｅｒ  ｐａｎｎｉｎｇ)方法を利用して、パニングゲインｇ１及びｇ２を決定する。［数式１０］において、オーディオ信号処理装置は、入力オーディオ信号の聴覚的エネルギーを維持するために、両耳それぞれに対応するパニングゲインの和が１になるように設定する。また、［数式１０］において、Ｈ＿ｍｅａｎＬは周波数ビン別の左側ＨＲＴＦの大きさ応答の平均を示し、Ｈ＿ｍｅａｎＲは周波数ビン別の右側ＨＲＴＦの大きさ応答の平均を示す。この際、ａはＩＰＣにおける方位各インデックスを示し、ｋは周波数ビンのインデックスを示す。
【０１２６】
［数式１０］
ｐ＿Ｌ＋ｐ＿Ｒ＝１、
ｐ＿Ｌ＝Ｈ＿ｍｅａｎＬ（ａ）／（Ｈ＿ｍｅａｎＬ（ａ）＋Ｈ＿ｍｅａｎＲ（ａ））、
ｐ＿Ｒ＝Ｈ＿ｍｅａｎＲ（ａ）／（Ｈ＿ｍｅａｎＬ（ａ）＋Ｈ＿ｍｅａｎＲ（ａ））、
ここで、Ｈ＿ｍｅａｎＬ（ａ）＝ｍｅａｎ（ａｂｓ（Ｈ＿Ｌ（ｋ）））であり、Ｈ＿ｍｅａｎＲ（ａ）＝ｍｅａｎ（ａｂｓ（Ｈ＿Ｒ（ｋ）））。
【０１２７】
図１８は、本開示の一実施例によるオーディオ信号処理装置が周波数領域で第１のフィルタ及び第２フィルタに基づいて出力オーディオ信号を生成するブロック図である。オーディオ信号処理装置は、入力オーディオ信号を周波数領域信号に変換する。また、オーディオ信号処理装置は、上述した第１フィルタに基づいて変換された信号をフィルタリングして、第１出力オーディオ信号を生成する。また、オーディオ信号処理装置は、上述したパニングゲインが適用された入力オーディオ信号を周波数領域信号に変換して、第２出力オーディオ信号を生成する。次に、オーディオ信号処理装置は、第１出力オーディオ信号及び第２出力オーディオ信号をｇ＿Ｈ及びｇ＿Ｉに基づいてミキシングし、周波数領域における最終出力オーディオ信号を生成する。オーディオ信号処理装置は、ミキシングされた最終オーディオ信号を時間領域信号に変換する。図１８において、オーディオ信号処理装置が最終出力オーディオ信号（ｏｕｔｐｕｔ＿ｈａｔ）を生成する方法は、［数式１１］のように表される。
【０１２８】
［数式１１］
ｏｕｔｐｕｔ＿ｈａｔ＝ＩＦＦＴ［ｇ＿Ｈ・ｍａｇ｛Ｓ（ｋ）｝・ｍａｇ｛Ｈ＿Ｌ、Ｒ｝・ｐｈａ｛Ｓ（ｋ）＋Ｈ＿Ｌ、Ｒ（ｋ）｝＋ｇ＿Ｉ・ｍａｇ｛Ｓ（ｋ）｝・ｍａｇ｛Ｐ＿Ｌ、Ｒ｝・ｐｈａ｛Ｓ（ｋ）＋Ｐ＿Ｌ、Ｒ（ｋ）｝
【０１２９】
［数式１１］において、Ｈ＿Ｌ、Ｒ（ｋ）、Ｐ＿Ｌ、Ｒ（ｋ）、及びＳ（ｋ）は、それぞれ時間領域のｈ＿Ｌ、Ｒ（ｎ）、ｐ＿Ｌ、Ｒ（ｎ）、Ｓ（ｎ）の周波数応答を示す。また、ｋは周波数ビンのインデックスを示し、ｍａｇ｛ｘ｝及びｐｈａ｛ｘ｝はそれぞれ周波数応答「ｘ」の大きさ成分及び位相成分を示す。
【０１３０】
図１９は、図１７及び図１８を介して獲得された出力オーディオ信号を時間領域で示したグラフである。図１９の実線を参照すると、オーディオ信号処理装置が時間領域で第１出力オーディオ信号と第２出力オーディオ信号をミキシングした場合、コムフィルタリング効果が発生する。一方、図１９の破砕線を参照すると、オーディオ信号処理装置が周波数領域で第１出力オーディオ信号と第２出力オーディオ信号をミキシングした場合、コムフィルタリング効果が発生しない。これは、オーディオ信号処理装置が、周波数領域で複数のオーディオ信号の大きさ成分と位相成分を分離して別途にインタポレーションすることができるためである。しかし、図１８のように、オーディオ信号処理装置が周波数領域でオーディオ信号の大きさ成分と位相成分を分離して処理すれば、演算が増加する恐れがある。このような演算量の増加で、モバイル装置のように演算量に対する製ゲインがある装置の場合、オーディオ信号を線形結合することが難しい。それによって、本開示の一実施例によるオーディオ信号処理装置は、複数のフィルタそれぞれの位相応答を同側及び対側（または左側及び右側）別に一致させることができる。それを介して、オーディオ信号処理装置はインタポレーションに必要な演算量を減少させることができる。
【０１３１】
図２０は、本開示の一実施例によるオーディオ信号処理装置が同側、対側ごとに一致した位相応答に基づいて出力オーディオ信号を生成する方法を示すブロック図である。一実施例によって、オーディオ信号処理装置は、入力オーディオ信号に対応する仮想音源の位置に基づいてＨＲＴＦ対を獲得する。また、オーディオ信号処理装置は、図３に乃至図９を介して上述した方法で、ＨＲＴＦ対が含む同側ＨＲＴＦ及び対側ＨＲＴＦそれぞれの位相応答を変更する。この際、オーディオ信号処理装置は、同側ＨＲＴＦの位相応答を、ＨＲＴＦセットが含む複数の同側ＨＲＴＦそれぞれに対して音源の位置とは関係なく共通の同じ位相応答に変更する。また、変更された同側及び対側ＨＲＴＦそれぞれの位相応答は線形位相応答である。次に、オーディオ信号処理装置は、パニングゲインに基づいて生成された同側及び対側パニングフィルタの位相応答を、同側及び対側ＨＲＴＦそれぞれの位相応答と一致させる。オーディオ信号処理装置は、上述した方法と同じく、ミキシングゲイン（ｇ＿Ｈ、ｇ＿Ｉ）に基づいてＨＲＴＦが適用された第１出力オーディオ信号と、パニングフィルタが適用された第２出力オーディオ信号をミキシングする。一致した位相Ｈ＿Ｌｉｎ（ｋ）に基づいて生成された最終出力オーディオ信号（ＯＵＴ＿ｈａｔ＿ｌｉｎ）は、［数式１２］のように表される。
【０１３２】
［数式１２］
ＯＵＴ＿ｈａｔ＿ｌｉｎ＝ＩＦＦＴ［ｇ＿Ｈ・ｍａｇ｛Ｈ＿Ｌｉｎ（ｋ）｝・ｍａｇ｛Ｓ（ｋ）｝・ｐｈａ｛Ｈ＿Ｌｉｎ（ｋ）＋Ｓ（ｋ）｝＋ｇ＿Ｉ・ｍａｇ｛Ｐ＿Ｌ、Ｒ（ｋ）｝・ｍａｇ｛Ｓ（ｋ）｝・ｐｈａ｛Ｈ＿Ｌｉｎ（ｋ）＋Ｓ（ｋ）｝
【０１３３】
また、オーディオ信号処理装置は、フーリエ変換演算のうち少なくとも一部分を省略し、最終出力オーディオ信号を生成するために必要な演算量を減少させる。図２１は、本開示の一実施例によるオーディオ信号処理装置がＨＲＴＦ及び追加フィルタに基づいて出力オーディオ信号を生成する方法を示すブロック図である。一実施例によって、オーディオ信号処理装置は、時間領域で入力オーディオ信号の大きさ応答にパニングゲインを適用する。また、オーディオ信号処理装置は、グループディレーに基づいてパニングゲインが適用された入力オーディオ信号を時間遅延させ、第２出力オーディオ信号を生成する。この際、同側及び対側グループディレーそれぞれは、同側及び対側ＨＲＴＦそれぞれの位相応答に対応するグループディレーである。また、同側及び対側ＨＲＴＦそれぞれの位相応答は線形位相応答である。オーディオ信号処理装置は、［数式１３］の演算を介して、［数式１２］における最終出力オーディオ信号（ＯＵＴ−ｈａｔ＿ｌｉｎ）を生成する。［数式１３］において、ｔ＿ｃｏｎｔ、ｉｐｓｉｌは個人化された同側または対側グループディレーを示す。
【０１３４】
［数式１３］
ＯＵＴ＿ｈａｔ＿ｌｉｎ＝ＩＦＦＴ［ｇ＿Ｈ・ｍａｇ｛Ｈ＿Ｌｉｎ（ｋ）｝・ｍａｇ｛Ｓ（ｋ）｝・ｐｈａ｛Ｈ＿Ｌｉｎ（ｋ）＋Ｓ（ｋ）｝］＋ｇ＿Ｉ・Ｐ＿Ｌ、Ｒ・Ｓ（ｎ−ｔ＿ｃｏｎｔ、ｉｐｓｉｌ）
【０１３５】
一方、上述したように、追加フィルタは入力オーディオ信号に対応する仮想音源の空間的特定をシミュレーションする空間フィルタを含む。この際、空間的特性はスプレッド（ｓｐｒｅａｄ)、体積化（ｖｏｌｕｍｉｚａｔｉｏｎ)、ブラー（ｂｌｕｒ)、または幅制御（ｗｉｄｔｈ  ｃｏｎｔｒｏｌ)効果のうち少なくとも一つを含む。ＨＲＴＦを利用して音像定位される音源は、点に近い（ｐｏｉｎｔ−ｌｉｋｅ）特性を有する。それによって、ユーザは入力オーディオ信号が３次元空間上の仮想音源に対応する位置から聴取されるようなサウンド効果を経験することができる。
【０１３６】
しかし、現実の３次元空間音響は、音響に対応する音源の聴取者からの距離、及び音源の大きさに応じて音響の幾何学的特性が異なり得る。例えば、波の音や雷の音は特定地点から聞こえる音というよりは、面積の特性を有する音であるといえる。一方、点ではない音源に対する効果を再現するために、バイノーラルフィルタは測定を介して生成することが難しい。また、点ではない音源に対する効果を再現するために、多様な音源環境にそれぞれ対応するデータを貯蔵するシステム容量を構築することが難しい。
【０１３７】
それによって、オーディオ信号処理装置は、予め獲得したＨＲＴＦに基づいて空間フィルタを生成する。また、オーディオ信号処理装置は、予め獲得したＨＲＴＦと空間フィルタを利用して出力オーディオ信号を生成する。以下では、オーディオ信号処理装置が他の追加フィルタを利用して出力オーディオ信号を生成する方法について、図２２乃至図２８を参照して説明する。図２２は、空間フィルタによる音響効果の例を示す図である。図２２において、聴取者２２１０は、点の特性を有する仮想音源２２０１、互いに異なる面積を有する第１スプレッド音源２２０２及び第２スプレッド音源２２０３それぞれを区別することができる。これは、音響学的にＡＳＷ（ａｐｐａｒｅｎｔ  ｓｏｕｒｃｅ  ｗｉｄｔｈ）認知効果による。
【０１３８】
図２３は、本開示の一実施例によるオーディオ信号処理装置が複数のフィルタに基づいて出力オーディオ信号を生成する方法を示す図である。一実施例によって、オーディオ信号処理装置は、入力オーディオ信号に対応する仮想音源がモデリングする物体の大きさ、及び聴取者から音源までの距離に基づいて空間フィルタを生成する。オーディオ信号処理装置は、空間フィルタに基づいて第２出力オーディオ信号を生成する。また、オーディオ信号処理装置は、上述した第１出力オーディオ信号と空間フィルタに基づいて生成された第２出力オーディオ信号をミキシングし、最終出力オーディオ信号を生成する。図２３において、オーディオ信号処理装置は、［数式１４］のように左側及び右側出力オーディオ信号（ｙ＿Ｌ、ｙ＿Ｒ）を生成する。
【０１３９】
［数式１４］
ｙ＿Ｌ＝ｇ＿Ｈ・ｈ＿Ｌ＊ｓ＋ｇ＿Ｄ・ｄ＿Ｌ＊ｓ
ｙ＿Ｒ＝ｇ＿Ｈ・ｈ＿Ｒ＊ｓ＋ｇ＿Ｄ・ｄ＿Ｒ＊ｓ
【０１４０】
［数式１４］において、ｓは入力オーディオ信号を示し、ｈ＿Ｌとｈ＿Ｒはそれぞれ左側及び右側ＨＲＴＦフィルタ（第１フィルタ）を示す。また、ｄ＿Ｌ及びｄ＿Ｒは、それぞれ左側及び右側空間フィルタ（第２フィルタ）を示す。ｇ＿Ｈとｇ＿Ｄは、それぞれ第１フィルタ及び第２フィルタに適用されるミキシングゲインを示す。また、＊はコンボリューションを示す。この際、オーディオ信号処理装置は、フーリエ変換及び逆フーリエ変換を介し、高速コンボリューション方法によって入力オーディオ信号をフィルタリングする。一方、図２３の方法は従来のＨＲＴＦを使用するバイノーラルレンダリングに加えて追加に同じ入力オーディオ信号に対するフィルタリング演算が必要なため、演算量が増える可能性がある。
【０１４１】
また、ミキシング過程において、第１フィルタと第２フィルタの位相応答の差による音質の劣化が発生する恐れがある。図２４は、コムフィルタリング効果による音質の劣化を示す図である。オーディオ信号処理装置は、位相応答がマッチされていない複数のフィルタに基づいてフィルタリングされたオーティオ信号をミキシングする。この場合、ミキシングされた信号の周波数応答がＨＲＴＦに基づいてレンダリングされたオーディオ信号とは異なるようになり、音色歪曲が発生する恐れがある。
【０１４２】
図２５は、本開示の一実施例によるオーディオ信号処理装置が複数のフィルタを結合して結合フィルタを生成する方法を示す図である。一実施例によって、オーディオ信号処理装置は、上述した第１フィルタ及び複数のフィルタを結合して単一の結合したフィルタを生成する。それを介して、オーディオ信号処理装置は、追加フィルタを使用する別途のバイノーラルレンダリングによって追加される演算量を減少させることができる。図２５を参照すると、オーディオ信号処理装置は、複数のＨＲＴＦを貯蔵するＨＲＴＦデータベースから第１フィルタ（ＨＲＴＦ）を獲得する。また、オーディオ信号処理装置は、入力オーディオ信号に対応する仮想音源がモデリングする物体の大きさ及び聴取者からの仮想音源までの距離に基づいて、第２フィルタを生成する。この際、オーディオ信号処理装置は、ＨＲＴＦデータベースから第１フィルタまたは第２フィルタとは異なる位置に対応するＨＲＴＦのうち少なくとも一つを獲得することができる。また、オーディオ信号処理装置は、第１フィルタまたは第１フィルタとは異なる位置に対応するＨＲＴＦのうち少なくとも一つを使用して第２フィルタを生成する。
【０１４３】
次に、オーディオ信号処理装置は、第１フィルタと第２フィルタをインタポレーションして、Ｈ＿Ｌ＿ｎｅｗ及びＨ＿Ｒ＿ｎｅｗを含む結合されたフィルタを生成する。この際、オーディオ信号処理装置は、上述したミキシングゲインを第１フィルタ及び第２フィルタそれぞれの大きさに応答し適用して、Ｈ＿Ｌ＿ｎｅｗ及びＨ＿Ｒ＿ｎｅｗを生成する。オーディオ信号処理装置は、ミキシングゲインを使用して各フィルタによる効果の強度を調節する。
【０１４４】
また、オーディオ信号処理装置は、第１フィルタ及び第２フィルタそれぞれの左側及び右側別にインタポレーションを行う。インタポレーションは時間領域で行われてもよく、フーリエ変換を経て周波数領域で行われてもよい。［数式１５］は、オーディオ信号処理装置が周波数領域で左側第１フィルタ及び左側第２フィルタに基づいて左側結合フィルタを生成する方法を示す。［数式１５］において、ｍａｇ｛Ｘ（ｋ）｝はフィルタＸのｋ番目の周波数ビンの大きさ成分を示す、ｐｈａ｛ｘ(ｋ）｝はフィルタＸのｋ番目の周波数ビンの位相成分を示す。また、ｇ＿Ｈとｇ＿Ｄはそれぞれ左側第１フィルタ及び左側第２フィルタに適用されるミキシングゲインを示す。
【０１４５】
［数式１５］
Ｈ＿Ｌ＿ｎｅｗ（ｋ）＝ｍａｇ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝・ｅｘｐ［ｐｈａ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝］
ここで、
ｍａｇ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝＝ｇ＿Ｈ・ｍａｇ｛Ｈ＿Ｌ（ｋ）｝＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｌ（ｋ）｝
ｐｈａ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝＝ｇ＿Ｈ・ｐｈａ｛Ｈ＿Ｌ（ｋ）｝＋ｇ＿Ｄ・ｐｈａ｛Ｄ＿Ｌ（ｋ）｝
【０１４６】
一方、本開示の一実施例によるオーディオ信号処理装置は、複数のフィルタそれぞれの大きさのみをインタポレーションして結合フィルタを生成する。オーディオ信号処理装置は、第１フィルタであるＨＲＴＦの位相応答を結合フィルタの位相応答として使用する。それを介して、オーディオ信号処理装置は、リアルタイムで設定されるミキシングゲインに基づいて結合フィルタを生成することができる。オーディオ信号処理装置は、位相応答をインタポレーションするのに要求される演算を省略し、リアルタイムで要求される全体演算量を減少させることができる。［数式１６］は、オーディオ信号処理装置が複数のフィルタ大きさ応答のみをインタポレーションして結合フィルタを生成する方法を示す。
【０１４７】
［数式１６］
Ｈ＿Ｌ＿ｎｅｗ’（ｋ）＝ｍａｇ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝・ｅｘｐ［ｐｈａ｛Ｈ＿Ｌ＿ｎｅｗ｝］
ここで、
ｍａｇ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝＝ｇ＿Ｈ・ｍａｇ｛Ｈ＿Ｌ（ｋ）｝＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｌ（ｋ）｝で、
ｐｈａ｛Ｈ＿Ｌ＿ｎｅｗ（ｋ）｝＝ｐｈａ｛Ｈ＿Ｌ＿（ｋ）｝
【０１４８】
［数式１６］において、ｍａｇ｛Ｘ（ｋ）｝はフィルタＸのｋ番目の周波数ビンの大きさ成分を示す、ｐｈａ｛ｘ(ｋ）｝はフィルタＸのｋ番目の周波数ビンの位相成分を示す。また、ｇ＿Ｈとｇ＿Ｄはそれぞれ左側第１フィルタ及び左側第２フィルタに適用されるミキシングゲインを示す。［数式１７］及び［数式１８］は、オーディオ信号処理装置が［数式１６］を介して生成された結合フィルタを利用して、左側及び右側の出力オーディオ信号（Ｙ＿Ｌ’（ｋ）、Ｙ＿Ｒ’（ｋ））を生成する方法を示す。［数式１７］及び［数式１８］において、ｍａｇ｛Ｘ（ｋ）｝はフィルタＸのｋ番目の周波数ビンの大きさ成分を示す、ｐｈａ｛ｘ(ｋ）｝はフィルタＸのｋ番目の周波数ビンの位相成分を示す。また、ｇ＿Ｈとｇ＿Ｄはそれぞれ第１フィルタ及び第２フィルタに適用されるミキシングゲインを示す。
【０１４９】
［数式１７］
Ｙ＿Ｌ’（ｋ）＝ｇ＿Ｈ・Ｈ＿Ｌ（ｋ）・Ｓ（ｋ）＋ｇ＿Ｄ・Ｄ＿Ｌ（ｋ）・Ｓ（ｋ）
＝｛ｇ＿Ｈ・Ｈ＿Ｌ（ｋ）＋ｇ＿Ｄ・Ｄ＿Ｌ（ｋ）｝・Ｓ（ｋ）
＝［ｇ＿Ｈ・ｍａｇ｛Ｈ＿Ｌ（ｋ）｝・ｅｘｐ［ｐｈａ｛Ｈ＿Ｌ（ｋ）｝］＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｌ（ｋ）｝・ｅｘｐ［ｐｈａ｛Ｈ＿Ｌ（ｋ）｝］・Ｓ（ｋ）
＝［ｇ＿Ｈ＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｌ（ｋ）｝・ｍａｇ｛Ｈ＿Ｌ＿ｉｎｖ（ｋ）｝・Ｈ＿Ｌ（ｋ）・Ｓ（ｋ）
＝ｇ＿ｎｅｗ＿Ｌ（ｋ）・Ｈ＿Ｌ（ｋ）・Ｓ（ｋ）
ここで、
ｇ＿ｎｅｗ＿Ｌ（ｋ）＝ｇ＿Ｈ＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｌ（ｋ）｝・ｍａｇ｛Ｈ＿Ｌ＿ｉｎｖ（ｋ）｝で、
ｍａｇ｛Ｈ＿Ｌ＿ｉｎｖ（ｋ）｝＝１／ｍａｇ｛Ｈ＿Ｌ＿（ｋ）｝
【０１５０】
［数式１８］
Ｙ＿Ｒ’（ｋ）＝ｇ＿Ｈ・Ｈ＿Ｒ（ｋ）・Ｓ（ｋ）＋ｇ＿Ｄ・Ｄ＿Ｒ（ｋ）・Ｓ（ｋ）
＝ｇ＿ｎｅｗ＿Ｒ（ｋ）・Ｈ＿Ｒ（ｋ）・Ｓ（ｋ）
ここで、ｇ＿ｎｅｗ＿Ｒ（ｋ）＝ｇ＿Ｈ＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿Ｒ（ｋ）｝・ｍａｇ｛Ｈ＿Ｒ＿ｉｎｖ（ｋ）｝で、ｍａｇ｛Ｈ＿Ｒ＿ｉｎｖ（ｋ）｝＝１／ｍａｇ｛Ｈ＿Ｒ＿（ｋ）｝
【０１５１】
［数式１７］及び［数式１８］において、オーディオ信号処理装置は、ミキシングゲイン（ｇ＿Ｈ、ｇ＿Ｄ）、第２フィルタの大きさ応答（ｍａｇ｛Ｄ＿Ｒ（ｋ）｝）、及び第１フィルタのインバース（ｉｎｖｅｒｓｅ)大きさ応答（ｍａｇ｛Ｈ＿Ｒ＿ｉｎｖ（ｋ）｝）に基づいて、左側及び右側結合フィルタ（ｇ＿ｎｅｗ＿Ｌ（ｋ）、ｇ＿ｎｅｗ＿Ｒ（ｋ））を生成する。この際、第１フィルタのインバースの大きさ応答（ｍａｇ｛Ｈ＿Ｒ＿ｉｎｖ（ｋ）｝）はＨＲＴＦデータベースを介して予め計算された値である。オーディオ信号処理装置は、［数式１７］及び［数式１８］の中間式（ｉｎｔｅｒｍｅｄｉａｔｅ  ｒｅｓｕｌｔｓ)のように、第１フィルタのインバース大きさの応答ではなく、第１フィルタの大きさ応答を使用して結合フィルタ（ｇ＿ｎｅｗ＿Ｌ（ｋ）、ｇ＿ｎｅｗ＿Ｒ（ｋ））を生成してもよい。
【０１５２】
図２６は、本開示の一実施例によるオーディオ信号処理装置が複数のフィルタを周波数領域でインタポレーションして生成した結合フィルタを示す図である。図２６において、実線は第１フィルタ、破砕線は第２フィルタを含む。また、点からなる点線は、結合フィルタの周波数応答の大きさ成分を示す。
【０１５３】
図２７は、本開示の一実施例による空間フィルタの周波数応答の例示である。一実施例によって、オーディオ信号処理装置は、音源の大きさに基づいてバイノーラルレンダリングされた２チャネルオーディオ信号間の相互相関度（ｉｎｔｅｒ−ａｕｒａｌ  ｃｒｏｓｓ−ｃｏｒｅｅｌａｔｉｏｎ、ＩＡＣＣ）を調整する。聴取者がＩＡＣＣが低い２チャネルのオーディオ信号を聞く場合、聴取者は２つのオーディオ信号が互いに遠く離れたところから聞こえるように感じるためである。図２７に示した空間フィルタは左側及び右側バイノーラル信号間のＩＡＣＣを減少させるフィルタである。オーディオ信号処理装置は、周波数のサブバンド（ｓｕｂ−ｂａｎｄ)別にレベルの差を交差して、左側及び右側バイノーラル信号間のＩＡＣＣを減少させる。ここで、サブバンドは信号の周波数領域全体のうちから連続した一部の領域である。それぞれのサブバンドは、少なくとも一つの周波数ビンを含む。周波数領域が複数のサブバンドに分割される場合、複数のサブバンドそれぞれの帯域幅は同じである。また、サブバンド別に帯域の大きさが互いに異なり得る。例えば、オーディオ信号処理装置はバーク単位（Ｂｒａｋ  ｓｃａｌｅ)またはオクターブ（Ｏｃｔａｖｅ）バンドのような聴覚尺度に応じてサブバンド別帯域幅の大きさを互いに異なる値に設定してもよい。図２７は、高周波数に比べ低周波数に対応するサブバンドの帯域幅がより小さい場合を示す。
【０１５４】
図２７は、本開示の一実施例によるオーディオ信号処理装置が、上述したＨＲＴＦ、パニングフィルタ及び空間フィルタに基づいて最終出力オーディオ信号を生成する方法を示す図である。一実施例によって、オーディオ信号処理装置は、線形位相応答を有する変更されたＨＲＴＦを獲得する。また、オーディオ信号処理装置は、獲得したＨＲＴＦの位相応答をパニングフィルタ及び空間フィルタそれぞれの位相応答として使用する。［数式１９］を参照すると、オーディオ信号処理装置は、ＨＲＴＦとパニングフィルタに基づいて出力オーディオ信号（Ｙ＿ＢＥＳ（ｋ））を生成することができる。また、［数式２０］を参照すると、オーディオ信号処理装置は、ＨＲＴＦと空間フィルタに基づいて出力オーディオ信号（Ｙ＿ｓｐｒｄ（ｋ））を生成する。
【０１５５】
［数式１９］
Ｙ＿ＢＥＳ（ｋ）＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｈ＋Ｓ（ｋ）・ＩＰ（ｋ）・ｐ＿Ｌ、Ｒ・ｇ＿Ｉ
＝Ｓ（ｋ）・ｍａｇ｛Ｈ＿ｌｉｎ（ｋ）｝・ｐｈａ｛Ｈ＿ｌｉｎ（ｋ）｝・ｇ＿Ｈ＋Ｓ（ｋ）・ｐｈａ｛Ｈ＿ｌｉｎ（ｋ）｝・ｐ＿Ｌ、Ｒ・ｇ＿Ｉ
＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・［ｇ＿Ｈ＋ｇ＿Ｉ・ｐ＿Ｌ、Ｒ・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝］
【０１５６】
［数式２０］
Ｙ＿ｓｐｒｄ（ｋ）＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｈ＋Ｓ（ｋ）・Ｄ＿ｌｉｎ（ｋ）・ｇ＿Ｄ
＝Ｓ（ｋ）・［Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｈ＋ｍａｇ｛Ｄ＿ｌｉｎ（ｋ）｝・ｐｈａ｛Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｄ］
＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・［ｇ＿Ｈ＋ｍａｇ｛Ｄ＿ｌｉｎ（ｋ）｝・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｄ］
【０１５７】
［数式１９］及び［数式２０］において、ｍａｇ｛Ｘ（ｋ）｝はフィルタＸのｋ番目の周波数ビンの大きさ成分を示し、ｐｈａ｛Ｘ（ｋ）｝はフィルタＸのｋ番目の周波数ビンの位相成分を示す。また、Ｈ＿ｌｉｎは線形化された位相応答に基づいて生成されたＨＲＴＦを示し、ｐ＿Ｌ、Ｒは左側または右側のパニングゲインを示し、Ｄ＿ｌｉｎはＨＲＴＦの線形化された位相応答に基づいて生成された空間フィルタを示す。また、ｇ＿Ｈ、ｇ＿Ｉ、及びｇ＿Ｄは、それぞれＨＲＴＦ、パニングフィルタ、及び空間フィルタそれぞれに対応するミキシングゲインを示す。ＩＰ（ｋ）は、Ｈ＿ｌｉｎと同じ位相を有するインパルス応答を示す。
【０１５８】
［数式２１］は、最終出力オーディオ信号（Ｙ＿ＢＥＳ＋Ｓｐｒｄ（ｋ））を示す。オーディオ信号処理装置は、ＢＥＳが適用された出力オーディオ信号（Ｙ＿ＢＥＳ（ｋ））と音源の距離及び大きさによる特性が適用された出力オーディオ信号（Ｓｐｒｄ（ｋ））を合成し、最終出力オーディオ信号を生成する。［数式２１］において、ｇ＿ＢはＢＥＳが適用された出力オーディオ信号に対応するミキシングゲインである。
【０１５９】
［数式２１］
Ｙ＿ＢＥＳ＋Ｓｐｒｄ（ｋ）＝Ｙ＿ＢＥＳ（ｋ）・ｇ＿Ｂ＋Ｓ（ｋ）・Ｄ＿ｌｉｎ（ｋ）・ｇ＿Ｄ
＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・ｇ＿Ｂ（ｇ＿Ｈ＋ｇ＿Ｉ・ｐ・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝）＋Ｓ（ｋ）・ｍａｇ｛Ｄ＿ｌｉｎ（ｋ）｝・Ｈ＿ｌｉｎ（ｋ）・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝・ｇ＿Ｄ
＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・（ｇ＿Ｂ・ｇ＿Ｈ＋ｇ＿Ｂ・ｇ＿Ｉ・ｐ・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿ｌｉｎ（ｋ）｝・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝
＝Ｓ（ｋ）・Ｈ＿ｌｉｎ（ｋ）・（ｇ＿Ｂ・ｇ＿Ｈ＋（ｇ＿Ｂ・ｇ＿Ｉ・ｐ＋ｇ＿Ｄ・ｍａｇ｛Ｄ＿ｌｉｎ（ｋ）｝・ｍａｇ｛１／Ｈ＿ｌｉｎ（ｋ）｝
【０１６０】
図２８を参照すると、オーディオ信号処理装置は、ＨＲＴＦに基づいて入力オーディオ信号をバイノーラルレンダリングし、第１オーディオ信号を生成する。オーディオ信号処理装置は、パターニングフィルタに基づいて入力オーディオ信号をバイノーラルレンダリングし、第２オーディオ信号を生成する。オーディオ信号処理装置は、空間フィルタに基づいて入力オーディオ信号をバイノーラルレンダリングし、第３オーディオ信号を生成する。次に、オーディオ信号処理装置は、第１オーディオ信号と第２オーディオ信号を合成して、ＢＥＳ効果が適用された第４オーディオ信号を生成する。また、オーディオ信号処理装置は、第３オーディオ信号と第４オーディオ信号を合成し、合成された信号に対してＩＦＦＴを行って出力オーディオ信号を生成する。一方、図２８及び［数式２１］においては、オーディオ信号処理装置が第１オーディオ信号と第２おーでぃお信号を先に合成し、第３オーディオ信号を合成して出力オーディオ信号を生成すると説明しているが、本開示はこれに限らない。例えば、オーディオ信号処理装置は、それぞれのフィルタに基づいて出力オーディオ信号を単一の合成過程を介して合成してもよい。この場合、上述したミキシングゲインｇ＿Ｈ、ｇ＿Ｉは、ｇ＿Ｂ及びｇ＿Ｄに基づいて修正される。
【０１６１】
一方、本開示の一実施例によって、入力おーでぃお信号は複数の仮想音源を介してシミュレーションされる。例えば、入力オーディオ信号は複数のチャネル信号またはアンビソニック信号のうち少なくとも一つを含む。この場合、オーディオ信号処理装置は、複数の仮想音源を介して入力オーディオ信号をシミュレーションする。例えば、オーディオ信号処理装置は、複数の仮想音源それぞれに対応する複数のＨＲＴＦに基づいて最初に仮想音源それぞれに割り当てられたオーディオ信号をバイノーラルレンダリングし、出力オーディオ信号を生成する。この際、仮想音源それぞれに割り当てられたオーディオ信号は相関度が高い。また、仮想音源それぞれに対応する複数のＨＲＴＦの位相応答が互いに異なり得る。それによって、出力オーディオ信号において、上述したコムフィルタリング効果による音質低下が発生する恐れがある。本開示の一実施例によるオーディオ信号処理装置は、仮想音源それぞれに対応する複数のＨＲＴＦそれぞれの位相応答を一致させることができる。それを介して、オーディオ信号処理装置は、相関度が高い複数のチャネル信号またはアンビソニック信号をバイノーラルレンダリングする場合に発生する音質の劣化を緩和することができる。
【０１６２】
詳しくは、オーディオ信号処理装置は、複数の仮想音源それぞれに対応する互いに異なる複数のＨＲＴＦ対を利用して、出力オーディオ信号を生成する。本実施例において、仮想音源はチャネル信号に対応するチャネルまたはアンビソニック信号をレンダリングするための仮想のチャネルである。また、オーディオ信号処理装置は、アンビソニック信号を聴取者の頭部方向を基準に配列された複数の仮想音源それぞれに対応する仮想チャネル信号に変換する。この際、複数の仮想音源は、音源レイアウトに応じて配列される。例えば、音源レイアウトは、頂点全体が聴取者を中人にする単位球面上に位置する仮想の正六面体である。この際、複数の仮想音源は、それぞれ仮想の正六面体の頂点に位置する。
【０１６３】
以下では、説明の便宜上、複数の仮想音源それぞれの位置は、ＦＬＵ（Ｆｒｏｎｔ−Ｌｅｆｔ−Ｕｐ）、ＦＬＵ（Ｆｒｏｎｔ−Ｒｉｇｈｔ−Ｕｐ）、ＦＬＤ（Ｆｒｏｎｔ−Ｌｅｆｔ−Ｄｏｗｎ）、ＦＲＤ（Ｆｒｏｎｔ−Ｒｉｇｈｔ−Ｄｏｗｎ）、ＲＬＵ（Ｒｅａｒ−Ｌｅｆｔ−ＵＰ）、ＲＲＵ（Ｒｅａｒ−Ｒｉｇｈｔ−ＵＰ）、ＲＬＤ（Ｒｅａｒ−Ｌｅｆｔ−Ｄｏｗｎ）、ＲＲＤ（Ｒｅａｒ−Ｒｉｇｈｔ−Ｄｏｗｎ）と称される。また、本開示の関連説明部分では、音源レイアウトが正六面体の頂点である場合を例に挙げて説明しているが、本開示はこれに限らない。例えば、音源レイアウトは正八面体の頂点状であってもよい。
【０１６４】
オーディオ信号処理装置は、複数の仮想音源それぞれに対応する互いに異なる複数のＨＲＴＦ対を獲得する。また、オーディオ信号処理装置は、複数のＨＲＴＦそれぞれを大きさ応答と位相応答で分析する。次に、オーディオ信号処理装置は、図３乃至図９を介して上述した方法によって複数のＨＲＴＦそれぞれの位相応答を変更し、位相応答が変更された複数のＨＲＴＦを生成する。例えば、オーディオ信号処理装置は、複数の同側ＨＲＴＦそれぞれの位相応答を同じ線形位相応答になるように設定して、複数の同側ＨＲＴＦを生成する。
【０１６５】
また、オーディオ信号処理装置は、複数の対側ＨＲＴＦそれぞれの位相応答を変更する。例えば、複数の仮想音源が含む第１仮想音源に対応する第１ＨＲＴＦ対は、第１同側ＨＲＴＦと第１対側ＨＲＴＦを含む。この際、オーディオ信号処理装置は、第１同側ＨＲＴＦ’の位相応答を基準に、第１同側ＨＲＴＦと第１対側ＨＲＴＦ間の位相応答の差が維持される第１対側ＨＲＴＦ’の位相応を獲得する。次に、オーディオ信号処理装置は、複数の仮想音源それぞれの位置に対応するＨＲＴＦ’対に基づいて最初に仮想音源それぞれに対応する仮想チャネル信号をレンダリングして、２チャネル出力オーディオ信号を生成する。
【０１６６】
本開示の一実施例によって、オーディオ信号処理装置は、音源レイアウトに基づいて左側位相応答及び右側位相応答を生成する。上述したように、音源レイアウトが仮想の正六面体の頂点であれば、聴取者を基準に左側４つの頂点それぞれから聴取者の左側耳までの距離は同じである。また、左側頂点のうちいずれか一つから聴取者の左側耳までの距離は、右側の４つの頂点のうちいずれか一つから聴取者の右側耳までの距離と同じである。音源から聴取者の左側または右側耳までの距離が同じであれば、オーディオ信号に適用されるグループディレーが同じである。つまり、音源レイアウトが聴取者を基準に左右対称であれば、オーディオ信号処理装置は聴取者を基準に左側及び右側別に共通した位相応答を有するＨＲＴＦを生成する。
【０１６７】
以下では、説明の便宜上、聴取者を基準に差測位位置する頂点に対応する４つのＨＲＴＦ対を左側グループとして示す。また、聴取者を基準に右側に位置する頂点に対応する４つのＨＲＴＦ対を右側グループとして示す。左側グループは、ＦＬＵ、ＦＬＤ、ＲＬＵ、ＲＬＤの位置それぞれに対応するＨＲＴＦ対を含む。また、左側グループは、ＦＲＵ、ＦＲＤ、ＲＲＵ、ＲＲＤの位置それぞれに対応するＨＲＴＦ対を含む。
オーディオ信号処理装置は、右側及び左側グループそれぞれのグループに含まれた複数の同側ＨＲＴＦそれぞれの位相応答に基づき、右側及び左側グループ位相応答を決定する。この際、左側グループの同側は聴取者の左側耳を示し、右側グループの同側は聴取者の右側耳を示す。オーディオ信号処理装置は、左側グループに含まれた複数の左側ＨＲＴＦの位相応答の平均値、中央値、または最頻値のうちいずれか一つを左側グループの位相応答として使用する。また、オーディオ信号処理装置は、右側グループに含まれた複数の右側ＨＲＴＦの位相応答の平均値、中央値、または最頻値を右側グループの位相応答として使用する。また、オーディオ信号処理装置は、決定されたグループ位相応答を線形化する。
【０１６８】
また、オーディオ信号処理装置は、グループ別に獲得されたグループ位相応答に基づいて、それぞれのグループに含まれた同側ＨＲＴＦそれぞれの位相応答を変更し、同側ＨＲＴＦ’らを生成する。オーディオ信号処理装置は、それぞれのグループが含む対側ＨＲＴＦに対しても同じまたは類似した方法で位相応答を変更し、対側ＨＲＴＦ’らを生成する。他の一実施例において、オーディオ信号処理装置は、左側グループが含む４つのＨＲＴＦそれぞれの位相応答のうちいずれか一つを左側グループの位相応答として選択してもよい。また、オーディオ信号処理装置は、右側グループが含む４つのＨＲＴＦそれぞれの位相応答のうちいずれか一つを右側グループ位相応答として選択する。それを介して、オーディオ信号処理装置は、アンビソニック信号及びチャネル信号のバイノーラルレンダリングにおいて、音像定位性能を維持しながらも音色歪曲を減少させることができる。
【０１６９】
本実施例では、１次アンビソニック信号（Ｆｉｒｓｔ  Ｏｒｄｅｒ  Ａｍｂｉｓｏｎｉｃｓ、ＦｏＡ）を例に挙げてオーディオ信号処理装置の動作を説明しているが、本開示はこれに限らない。例えば、上述した方法は、複数の音源を含むＨｏＡ（Ｈｉｇｈ  Ｏｒｄｅｒ  Ａｍｂｉｓｏｎｉｃｓ）信号にも同じくまたは相応する方法で適用される。アンビソニック信号が高次数であっても、それぞれの次数に対応する球面調和関数（ｓｐｈｅｒｉｃａｌ  ｈａｒｍｏｎｉｃｓ)の線形和でアンビソニック信号をシミュレーションすることができるためである。また、チャネル信号の場合も上述した方法が同じくまたは相応する方法で適用される。
【０１７０】
図２９乃至図３０は、仮想の音源に対応する複数のＨＲＴＦそれぞれの位相応答が互いにマッチしない場合、またはマッチした場合それぞれについて、出力オーディオ信号の周波数応答の大きさ成分の例示を示す図である。図２９は、音源レイアウトが仮想の正六面体の頂点である場合の周波数応答の例示である。図２９において、オーディオ信号処理装置が複数の仮想音源に対応する複数のＨＲＴＦそれぞれの応答をマッチしない場合（実線）、コムフィルタリング効果による音質の低下が発生する。一方、オーディオ信号処理装置が複数の仮想音源に対応する複数のＨＲＴＦそれぞれの位相応答を線形マッチした場合（破砕線）、コムフィルタリング効果による音質の低下が発生しない。
【０１７１】
図３０は、音源レイアウトが仮想の正八面体の頂点である場合の周波数応答の例示である。図２９のように、音源レイアウトが含む８つの仮想音源対比仮想音源の個数が増加すれば、コムフィルタリングによる音質低下が増加する恐れがある。また、図２９と同じく、図３０において、オーディオ信号処理装置が複数の仮想音源に対応する複数のＨＲＴＦそれぞれの応答をマッチしない場合（実線）、コムフィルタリング効果による音質の低下が発生する。一方、オーディオ信号処理装置が複数の仮想音源に対応する複数のＨＲＴＦそれぞれの位相応答を線形マッチした場合（破砕線）、コムフィルタリング効果による音質の低下が発生しない。
【０１７２】
一部の実施例はコンピュータによって実行されるプログラムモジュールのようなコンピュータで実行可能な命令語を含む記録媒体の形態にも具現される。コンピュータで判読可能な媒体は、コンピュータでアクセスされ得る任意の利用可能な媒体であり、揮発性及び非揮発性媒体、分離型及び非分離型媒体を全て含む。また、コンピュータで判読可能な媒体は、コンピュータ貯蔵媒体を含む。コンピュータ貯蔵媒体は、コンピュータ判読可能な命令語、データ構造、プログラムモジュール、またはその他のデータのような情報の貯蔵のための任意の方法または技術で具現された揮発性及び非揮発性媒体、分離型及び非分離型媒体を全て含む。
【０１７３】
これまで本開示を具体的な実施例を介して説明したが、本開示の属する技術分野における通常の知識を有する当業者であれば、本開示の趣旨及び範囲を逸脱せずに修正、変更することができる。つまり、本開示はオーディオ信号に対するバイノーラルレンダリングの実施について説明したが、本開示はオーディオ信号のみならず、ビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張することができる。よって、本開示の詳細な説明及び実施例から本開示の属する技術分野に属する人が容易に類推し得るものは、本開示の権利範囲に属すると解釈される。
【符号の説明】
【０１７４】
１００  オーディオ信号処理装置
１１０  受信部
１２０  プロセッサ
１３０  出力部
【図１】
2019115042.tif 000003
【図２】
2019115042.tif 000004
【図３】
2019115042.tif 000005
【図４】
2019115042.tif 000006
【図５】
2019115042.tif 000007
【図６】
2019115042.tif 000008
【図７】
2019115042.tif 000009
【図８】
2019115042.tif 000010
【図９】
2019115042.tif 000011
【図１０】
2019115042.tif 000012
【図１１】
2019115042.tif 000013
【図１２】
2019115042.tif 000014
【図１３】
2019115042.tif 000015
【図１４】
2019115042.tif 000016
【図１５】
2019115042.tif 000017
【図１６】
2019115042.tif 000018
【図１７】
2019115042.tif 000019
【図１８】
2019115042.tif 000020
【図１９】
2019115042.tif 000021
【図２０】
2019115042.tif 000022
【図２１】
2019115042.tif 000023
【図２２】
2019115042.tif 000024
【図２３】
2019115042.tif 000025
【図２４】
2019115042.tif 000026
【図２５】
2019115042.tif 000027
【図２６】
2019115042.tif 000028
【図２７】
2019115042.tif 000029
【図２８】
2019115042.tif 000030
【図２９】
2019115042.tif 000031
【図３０】
2019115042.tif 000032