(57)【要約】【課題】計算処理コストを抑えて簡易に仮想音源の幅を制御可能にすること。【解決手段】仮想音源の方向及び大きさに応じた頭部伝達関数を生成する信号処理装置１０は、前記仮想音源に対応する上昇角の範囲を特定する特定し、特定された範囲に含まれる上昇角に対応する頭部伝達関数を表す情報を取得する。そして信号処理装置１０は、取得した情報が表す前記頭部伝達関数の周波数スペクトルの所定のノッチが前記特定された範囲に応じて変更された、変更済みの頭部伝達関数を生成する。【選択図】図１
2020088632.tif 000002
【特許請求の範囲】
【請求項１】
仮想音源の方向及び大きさに応じた頭部伝達関数を生成する信号処理装置であって、
前記仮想音源に対応する上昇角の範囲を特定する特定手段と、
前記特定手段により特定された範囲に含まれる上昇角に対応する頭部伝達関数を表す情報を取得する情報取得手段と、
前記情報取得手段により取得された情報が表す前記頭部伝達関数の周波数スペクトルの所定のノッチが前記特定手段により特定された範囲に応じて変更された、変更済みの頭部伝達関数を生成する生成手段と、
を備えることを特徴とする信号処理装置。
【請求項２】
前記特定手段は、聴取位置から前記仮想音源の下端までの上昇角および上端までの上昇角を取得する第１の取得手段を有し、
前記情報取得手段は、複数の頭部伝達関数から、前記下端までの上昇角から前記上端までの上昇角の間の上昇角に対応する前記頭部伝達関数を選択する選択手段を有し、
前記生成手段は、前記下端から前記上端までの上昇角の変域に応じて前記選択手段で選択された頭部伝達関数の周波数スペクトルの所定のノッチを調整する調整手段を有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記調整手段は、前記上昇角の変域が広がると前記所定のノッチの周波数幅を広げることを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記調整手段は、前記上昇角の変域が広がると前記所定のノッチのゲインを上げることを特徴とする請求項２又は３に記載の信号処理装置。
【請求項５】
前記調整手段は、前記上昇角の変域における前記所定のノッチに対応する周波数帯域幅を算出し、前記周波数帯域幅に応じて前記所定のノッチを調整することを特徴とする請求項２乃至４のいずれか１項に記載の信号処理装置。
【請求項６】
前記調整手段は、調整前の前記所定のノッチを分割して前記周波数帯域幅に応じて離間し、離間した領域を補間計算することを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記調整手段は、調整前後で全周波数帯域での平均ゲインが略等しくなるよう前記所定のノッチのゲインを調整することを特徴とする請求項２乃至６のいずれか１項に記載の信号処理装置。
【請求項８】
聴取位置からの前記仮想音源の中心位置と前記仮想音源の大きさとを取得する第２の取得手段をさらに備え、
前記第１の取得手段は、前記下端までの上昇角および前記上端までの上昇角を、前記仮想音源の中心位置と前記仮想音源の大きさとから算出することを特徴とする請求項２乃至７のいずれか１項に記載の信号処理装置。
【請求項９】
聴取位置からの前記仮想音源の見込み角又は広がり角と前記仮想音源の中心の上昇角とを取得する第２の取得手段をさらに備え、
前記第２の取得手段は、前記下端までの上昇角および前記上端までの上昇角を、前記仮想音源の見込み角と前記仮想音源の中心上昇角とから算出することを特徴とする請求項２乃至７のいずれか１項に記載の信号処理装置。
【請求項１０】
前記調整手段は、前記上昇角の変域に応じて、調整する前記所定のノッチを変更することを特徴とする請求項２乃至９のいずれか１項に記載の信号処理装置。
【請求項１１】
前記調整手段は、複数の所定のノッチに対して調整を行うことを特徴とする請求項２乃至１０のいずれか１項に記載の信号処理装置。
【請求項１２】
前記所定のノッチが調整された同一の側方角に対応する前記頭部伝達関数が複数記憶された記憶手段をさらに備え、
前記選択手段は、前記記憶手段から前記上昇角の変域に応じて複数の調整された前記頭部伝達関数を選択し、
前記調整手段は、選択された複数の調整された前記頭部伝達関数を合成して前記所定のノッチを調整することを特徴とする請求項２乃至１１のいずれか１項に記載の信号処理装置。
【請求項１３】
前記選択手段は、同一の上昇角で異なる側方角に対応する複数の前記頭部伝達関数を選択し、
前記調整手段は、調整した前記複数の前記頭部伝達関数を重み付加算により合成することを特徴とする請求項２乃至１２のいずれか１項に記載の信号処理装置。
【請求項１４】
前記調整手段はさらに、調整した前記頭部伝達関数に両耳間の時間差に関して重み付移動平均をとることを特徴とする請求項２乃至１３のいずれか１項に記載の信号処理装置。
【請求項１５】
請求項１乃至１４のいずれか１項に記載の信号処理装置と、
音響信号を取得する第３の取得手段と、
前記生成手段で生成された頭部伝達関数を前記音響信号に畳み込む畳み込み手段と
を備えたことを特徴する立体音響処理システム。
【請求項１６】
仮想空間内における聴取点の位置を取得する第４の取得手段をさらに備え、前記特定手段は、前記上昇角は前記聴取点の位置を基点とすることを特徴とする請求項１５に記載の立体音響処理システム。
【請求項１７】
前記音響信号を無相関化された複数の音響信号に分離する分離手段と、
複数の音響信号を合成する合成手段と、
をさらに備え、
前記情報取得手段は、同一の上昇角で異なる側方角に対応する複数の前記頭部伝達関数を取得し、
前記畳み込み手段は、前記生成手段で生成された前記複数の頭部伝達関数を、前記分離手段で前記無相関化された複数の音響信号に畳み込み、
前記合成手段は、前記頭部伝達関数が畳み込まれた複数の音響信号を合成することを特徴とする請求項１５又は１６に記載の立体音響処理システム。
【請求項１８】
コンピュータを請求項１乃至１４のいずれか１項に記載の装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体音響を実現するための音響処理技術に関する。
【背景技術】
【０００２】
従来、頭部及びその周辺における音の空間伝達特性、すなわち頭部伝達特性に応じた頭部伝達関数（以下、ＨＲＴＦと呼ぶ）を使用して音響信号を処理することで、仮想音源の定位感、広がり感を制御することが行われている。ＨＲＴＦを用いて仮想音源の広がり感制御処理を実行するものとしては、仮想音源の見込み角の範囲内の位置に対応するＨＲＴＦを読み出し、それらのＨＲＴＦを合成する技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１７５３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、広がりのある仮想音源を所定の精度で定位させるためには多くのＨＲＴＦを合成する必要があり、計算処理コストが高くなるという課題がある。計算処理コストを抑えるために単にＨＲＴＦの合成数を減少させると、合成後のＨＲＴＦのスペクトル形状が乱れて頭内定位や前後反転などを生じさせてしまう可能性がある。
【０００５】
そこで本発明では、計算処理コストを抑えて簡易に仮想音源の広がりを制御可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る信号処理装置は、例えば以下の構成を有する。すなわち、仮想音源の方向及び大きさに応じた頭部伝達関数を生成する信号処理装置であって、前記仮想音源に対応する上昇角の範囲を特定する特定手段と、前記特定手段により特定された範囲に含まれる上昇角に対応する頭部伝達関数を表す情報を取得する情報取得手段と、前記取得手段により取得された情報が表す前記頭部伝達関数の周波数スペクトルの所定のノッチが前記特定手段により特定された範囲に応じて変更された、変更済みの頭部伝達関数を生成する生成手段と、を備える。
【発明の効果】
【０００７】
本発明により、計算処理コストを抑えて簡易に仮想音源の広がりを制御することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１の立体音響処理システムの構成を示すブロック図。
【図２】仮想音源の位置を指定するための座標系を示す図。
【図３】ノッチ幅調整部の詳細構成を示すブロック図。
【図４】（ａ）はノッチ幅調整前のＨＲＴＦの周波数スペクトルを示す図、（ｂ）はノッチ幅調整後のＨＲＴＦの周波数スペクトルを示す図。
【図５】立体音響処理システムの信号処理装置のハードウェア構成を示す図。
【図６】実施形態１の立体音響処理を示すフローチャート。
【図７】正中面内の上昇角ごとのノッチ周波数の変化を示す図。
【図８】仮想音源方向、仮想音源広がりを入力するＧＵＩの例。
【図９】実施形態２の立体音響処理システムの構成を示すブロック図。
【図１０】実施形態２の立体音響処理を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【実施形態１】
【００１０】
図１は、本発明の実施形態１に係る立体音響処理システム１００の構成を示すブロック図である。本実施形態では、仮想音源の上昇角方向の広がり感を制御するシステムについて説明する。本実施形態における仮想音源とは、ＨＲＴＦを用いて立体音響処理が行われた処理済みの音響信号に基づいて再生された音を聞いたユーザが知覚する仮想的な音源（音像）である。
【００１１】
立体音響処理システム１００は、信号処理装置１０とＨＲＴＦ記憶部１０４とを有する。信号処理装置１０は、音響信号入力部１０１、音源方向入力部１０２、ＨＲＴＦ選択部１０３、音源高さ入力部１０６、ノッチ幅調整部１０７、ＨＲＴＦ畳み込み部１０８、音響信号出力部１０９を有する。
【００１２】
音響信号入力部１０１には、立体音響処理を行う対象の音響信号が入力される。例えば、音響信号を音声ファイルとして読み込むことができ、入力された音響信号はＨＲＴＦ畳み込み部１０８へ出力される。
【００１３】
音源方向入力部１０２には、仮想音源の定位情報が入力される。例えば、３次元空間上の位置を指定するＧＵＩによって仮想音源の位置情報が入力される。入力された３次元上の位置座標は、図２に示すような聴取点からの仮想音源までの距離、側方角、および上昇角に変換され、ＨＲＴＦ選択部１０３および、ノッチ幅調整部１０７へ出力される。なお上昇角は、仮想音源を通る矢状面において、仮想音源と耳軸を結ぶ直線と水平線がなす角である。側方角αと上昇角βは、ユーザの頭部を基準とした方位角ψと仰俯角θを用いて以下のように表される。
【００１４】
【数１】
2020088632.tif 000003
【００１５】
ＨＲＴＦ選択部１０３は、音源方向入力部１０２から入力された仮想音源の方向に最も近い方向に対応するＨＲＴＦをＨＲＴＦ記憶部１０４から選択する。選択したＨＲＴＦはノッチ幅調整部１０７に出力される。
【００１６】
ＨＲＴＦ記憶部１０４は、記憶装置であり、少なくとも１組以上のＨＲＴＦセットまたは頭部インパルス応答(以下、ＨＲＩＲ)セットが記憶されている。
【００１７】
音源高さ入力部１０６は、ある側方角の矢状面内での仮想音源の見かけの高さ(仮想音源の上昇角方向の大きさ、すなわち聴取者を基点とした仮想音源の垂直見込み角)が入力される。具体的には、例えば音源方向入力部１０２に入力された仮想音源方向を中心とした広がり角として入力されてもよい。広がり角は、仮想音源の中心の上昇角（以下、中心上昇角と呼ぶ）に対し、仮想音源がプラスマイナス何度の範囲に分布するのかを示す角度であり、垂直見込み角の半分の角度である。垂直見込み角とは、聴取位置から仮想音源の上端位置に張られた直線と、聴取位置から仮想音源の下端位置に張られて直線との間の角度である。入力された仮想音源高さ情報はノッチ幅調整部１０７へ出力される。
【００１８】
ノッチ幅調整部１０７は、ＨＲＴＦ選択部１０３から入力されるＨＲＴＦを、音源方向入力部１０２から入力された仮想音源方向と、仮想音源高さ入力部１０６から入力された仮想音源の見かけの高さとに関する情報に基づいて変形する。音源の上昇角方向の位置に関する知覚には、ＨＲＴＦの周波数スペクトルの高域（３ｋＨｚ以上）にあるピークとノッチの位置関係が影響する。そのため、ノッチ幅調整部１０７は、後述するようにＨＲＴＦの高域にあるノッチの幅を調整する。
【００１９】
ＨＲＴＦ畳み込み部１０８は、音響信号入力部１０１から入力された音響信号に対してノッチ幅調整部１０７から入力されたＨＲＴＦを畳み込み、音響信号出力部１０９へ出力する。
【００２０】
音響信号出力部１０９は、ＨＲＴＦ畳み込み部１０８から入力された音響信号を出力する。例えば、音響信号出力部１０９は、音響信号を音声ファイルとしてハードディスクなどの記憶デバイスに書き出す。
【００２１】
図３は、ノッチ幅調整部１０７の詳細構成を示すブロック図である。ノッチ幅調整部１０７は、音源上限・下限方向算出部１０７１と、ノッチ周波数推定部１０７２と、ノッチ幅拡張部１０７３と、ノッチゲイン調整部１０７４とを含む。
【００２２】
音源上限・下限方向算出部１０７１は、音源方向入力部１０２から入力された仮想音源方向と、音源高さ入力部１０６から入力された仮想音源の見かけの高さ（仮想音源の垂直見込み角）に基づいて、仮想音源の分布の上限上昇角と下限上昇角を算出する。例えば仮想音源の中心上昇角をβ°、仮想音源の広がり角を±βw°とすると上限上昇角はβ＋βw°、下限上昇角はβ−βw°と算出される。算出した仮想音源の上限上昇角および下限上昇角は、ノッチ周波数推定部１０７２へ出力される。
【００２３】
ノッチ周波数推定部１０７２は、入力された仮想音源の上限上昇角および下限上昇角から上限上昇角および下限上昇角におけるノッチＮ１、Ｎ２の周波数を推定する。ここでノッチの周波数は、同一ノッチ内でゲインが最小となる周波数とする。ノッチＮ１、Ｎ２の周波数は、基準となる正面方向のＨＲＴＦにおけるノッチＮ１、Ｎ２の周波数と仮想音源の上昇角とから算出できる。そのため、正面方向（上昇角０°）でのノッチＮ１、Ｎ２の周波数は事前に正面方向のＨＲＴＦから算出しておくものとする。
【００２４】
算出された仮想音源の上限上昇角、下限上昇角それぞれにおけるノッチＮ１の周波数およびノッチＮ２の周波数は、ノッチ幅拡張部１０７３へ出力される。
【００２５】
ノッチ幅拡張部１０７３では、ＨＲＴＦ選択部１０３から入力されたＨＲＴＦにおけるノッチＮ１、Ｎ２のノッチの周波数幅（以下、ノッチ幅と呼ぶ）を広げる。その際、ノッチ幅拡張部１０７３は、ノッチ周波数推定部１０７２から入力された仮想音源の下限上昇角から上限上昇角までの上昇角の変域におけるノッチＮ１、Ｎ２それぞれの最小周波数と最大周波数とで規定される周波数帯域幅に基づきノッチ幅を拡張する。
【００２６】
図４（ａ）、（ｂ）に、本発明の一実施形態に係る立体音響処理におけるノッチ幅の広げ方の例を示す。図４（ａ）、（ｂ）はノッチ幅調整前後のＨＲＴＦの周波数スペクトルであり、横軸に周波数をとり、縦軸に音響信号の強度を調整するためのゲインをとったものである。なおピークＰ１〜Ｐ３は、上昇角変化に対して不変な値である。
【００２７】
ノッチ幅拡張部１０７３は、ＨＲＴＦ選択部１０３から入力されたＨＲＴＦ（図４（ａ））に対して、ノッチＮ１ピークＰ１からノッチＮ１までの範囲と、ノッチＮ１からピークＰ２までの範囲とについて、それぞれ以下のようにリサンプリングを行う。
【００２８】
図４（ｂ）の例では、ピークＰ１からノッチＮ１のスペクトル形状は、ピークＰ１を固定してノッチＮ１がノッチＮ１の最小周波数ｆＮ１ｓに移動するようにリサンプリングして変形させる。ここでノッチＮ１の最小周波数ｆＮ１ｓとは、仮想音源の上限上昇角から下限上昇角までの範囲においてノッチＮ１が取り得る周波数の最小値である。
【００２９】
ノッチＮ１からピークＰ２のスペクトル形状は、ピークＰ２を固定してノッチＮ１がノッチＮ１の最大周波数ｆＮ１Ｌに移動するようにリサンプリングして変形させる。ここでノッチＮ１の最大周波数ｆＮ１Ｌとは、仮想音源の上限上昇角から下限上昇角までの範囲においてノッチＮ１が取り得る周波数の最大値である。
【００３０】
そしてさらに、拡張されたノッチＮ１の低い周波数ｆＮ１ｓと高い周波数ｆＮ１Ｌとの間のゲインには、例えば線形補間することにより有限の値を設定する。補間法は、線形補間の他にスプライン補間等の多項式補間を用いてもよい。
【００３１】
同様に、ピークＰ２からノッチＮ２までの範囲、およびノッチＮ２からピークＰ３での範囲についてもリサンプリングする。そして、下限上昇角から上限上昇角までの範囲におけるノッチＮ２の最小周波数ｆＮ２ｓと最大周波数ｆＮ２Ｌとの間を線形補間し、ノッチＮ２のノッチ幅についても広げる処理を行う。
【００３２】
このように本実施形態では、ノッチを２つに分割して離間させ、離間した領域を補間することでノッチ幅を調整する。
【００３３】
なお、リサンプリングの範囲およびリサンプリングする際に固定する周波数は必ずしも上昇角変化に対して不変なピークＰ１〜Ｐ３等でなくてもよく、ノッチ間の任意の周波数としてもよい。
【００３４】
ノッチ幅拡張部１０７３でノッチＮ１、Ｎ２のノッチ幅を広げられたＨＲＴＦは、ノッチゲイン調整部１０７４へ出力される。
【００３５】
ノッチゲイン調整部１０７４では、ノッチ幅拡張部１０７３から入力されたＨＲＴＦの周波数スペクトルの拡張されたノッチＮ１、Ｎ２内のゲインを上げる（ノッチの深さを浅くする）。ここでノッチＮ１、Ｎ２のゲインの調整量は、ノッチ幅を広げる前（つまりＨＲＴＦ選択部１０３が出力したＨＲＴＦ）とノッチ幅を広げた後（つまりノッチ幅拡張部１０７３が出力したＨＲＴＦ）の全周波数帯域での平均ゲインが等しくなるように調整する。ノッチＮ１、Ｎ２のゲインを調整したＨＲＴＦは、ノッチゲイン調整部１０７４からＨＲＴＦ畳み込み部１０８へ出力される。
【００３６】
図５は、信号処理装置１０のハードウェア構成を示す図である。信号処理装置１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、入力部１５と、通信Ｉ／Ｆ１６と、システムバス１７とを備える。ＣＰＵ１１は、信号処理装置１０における動作を統括的に制御するものであり、システムバス１７を介して、各構成部（１２〜１６）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリアとして機能する。つまり、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラムをＲＡＭ１３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。
【００３７】
外部メモリ１４は、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ１４には、ＣＰＵ１１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶されてもよいし、図１に示すＨＲＴＦ記憶部１０４を含めてもよい。
【００３８】
入力部１５は、キーボードや操作ボタンなどにより構成され、ユーザは入力部１５を操作してパラメータを入力できるようになっている。通信Ｉ／Ｆ１６は、外部装置と通信するためのインターフェースである。システムバス１７は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４、入力部１５および通信Ｉ／Ｆ１６を通信可能に接続する。
【００３９】
図１に示す信号処理装置１０の各部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示す信号処理装置１０の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。
【００４０】
なお、信号処理装置１０がＣＰＵ１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、ＣＰＵ１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。
【００４１】
図６に、本発明の実施形態１の立体音響処理のフローチャートを示す。
【００４２】
Ｓ１０１において、音響信号が書き込まれた音声ファイルを音響信号入力部１０１において受信すると、所定のフレーム毎に音響信号が切り出されてＨＲＴＦ畳み込み部１０８へ出力される。このフレーム信号は、一般的な音響処理と同様に、ハーフオーバラップ処理により生成可能であり、例えば、ハン窓で切り出された音響信号のフレーム信号とすることができる。Ｓ１０１からＳ１０９の処理は、ＨＲＴＦ畳み込み部１０８に入力されるフレームごとに実行される。ただし、各処理において前のフレームに対する処理の結果を流用できる場合には、その処理を省略してもよい。
【００４３】
Ｓ１０２では、音源方向入力部１０２において仮想音源を定位させる方向を指定する定位情報が取得されると、定位情報がＨＲＴＦ選択部１０３およびノッチ幅調整部１０７へ出力される。定位情報は、ユーザからＵＩ等を介して音源方向入力部１０２に入力され、入力された定位情報は、音源方向入力部１０２からＨＲＴＦ選択部１０３およびノッチ幅調整部１０７へ出力される。
【００４４】
Ｓ１０３では、ＨＲＴＦ選択部１０３において音源方向入力部１０２から入力された定位情報に基づき指定された仮想音源方向に最も近い方向に仮想音源が設定されたＨＲＴＦがＨＲＴＦ記憶部１０４から選択される。選択されたＨＲＴＦは、ＨＲＴＦ選択部１０３からノッチ幅調整部１０７へ出力される。
【００４５】
Ｓ１０４では、音源高さ入力部１０６において仮想音源方向を中心とした広がり角又は仮想音源の垂直見込み角を指定する仮想音源の見かけの高さ情報がノッチ幅調整部１０７へ出力される。仮想音源の見かけの高さ情報は、ユーザからＵＩ等を介して音源高さ入力部１０６に入力され、ノッチ幅調整部１０７へ出力される。
【００４６】
Ｓ１０５では、ノッチ幅調整部１０７の音源上限・下限方向算出部１０７１において、音源方向入力部１０２の定位情報と、音源高さ入力部１０６からの仮想音源の見かけの高さ情報に基づき仮想音源の上限上昇角および下限上昇角が算出される。すなわち、定位情報で指定された仮想音源の中心方向と、仮想音源の見かけの高さ情報で指定された仮想音源の垂直見込み角又は広がり角とから、仮想音源の上昇角方向の上限上昇角および下限上昇角が算出される。算出された仮想音源の上限上昇角および下限上昇角は、音源上限・下限方向算出部１０７１からノッチ周波数推定部１０７２へ出力される。
【００４７】
Ｓ１０６では、ノッチ周波数推定部１０７２において、入力された仮想音源の上限上昇角および下限上昇角に対応するノッチＮ１、Ｎ２の周波数が算出される。算出されたノッチＮ１、Ｎ２の周波数をノッチ幅拡張部１０７３へ出力される。
【００４８】
Ｓ１０７では、ノッチ幅拡張部１０７３において、ＨＲＴＦ選択部１０３で選択されたＨＲＴＦをノッチ周波数推定部１０７２で算出された仮想音源の上限上昇角および下限上昇角に対応するノッチＮ１、Ｎ２の周波数に基づいてノッチ幅調整処理が行われる。ノッチ幅の調整されたＨＲＴＦは、ノッチ幅拡張部１０７３からノッチゲイン調整部１０７４へ出力される。
【００４９】
Ｓ１０８では、ノッチゲイン調整部１０７４において、ノッチ幅拡張部１０７３から入力されたＨＲＴＦの周波数スペクトルの幅が広げられたノッチ部分のゲインを上げる。ノッチのゲインを調整されたＨＲＴＦは、ＨＲＴＦ畳み込み部１０８へ出力される。
【００５０】
Ｓ１０９では、ＨＲＴＦ畳み込み部１０８においてＳ１０１で入力された音響信号の各フレームに対してＳ１０８で調整されたＨＲＴＦを畳み込む処理が行われる。ＨＲＴＦが畳み込まれた音響信号は、ＨＲＴＦ畳み込み部１０８から音響信号出力部１０９へ出力される。
【００５１】
Ｓ１０１からＳ１０９を繰り返すことで、ユーザの指定した方向に追従して仮想音源を定位させることができる。なお、音響信号の入力（Ｓ１０１）、定位情報の入力（Ｓ１０２）、および仮想音源の見かけの高さ情報の入力（Ｓ１０４）は、それぞれ独立して実施可能な処理で、並列に処理することも可能である。そのため、これらのステップの順序は図６に示すものに限定されない。
【００５２】
以上のように本実施形態では、入力された仮想音源が存在する上昇角の変域に応じたノッチ周波数の最大値と最小値を算出し、それらに基づいて１つのＨＲＴＦの周波数スペクトルのノッチ幅およびゲインを調整する。そのため本実施形態は、計算処理コストを抑えて簡易に仮想音源の高さ方向の広がり感を制御することができる。
【００５３】
本実施形態において、音響信号入力部１０１は、音響信号が書き込まれた音声ファイルを読み込むとしたが、マイクから入力されたアナログ信号をオーディオＩ／Ｆ等のＡ／Ｄ変換器を介して入力されるようになっていてもよい。
【００５４】
本実施形態において音源方向入力部１０２は、仮想音源位置を１点のみ指定するものとしたが、例えば仮想音源の３次元位置が時系列に羅列されたデータで仮想音源位置を複数点指定可能としても良い。また本実施例において入力された３次元位置座標は、聴取者からの音源までの距離、側方角、および上昇角に変換されたが、ほかの表現で位置を指定してもよい。
【００５５】
本実施形態においてＨＲＴＦ選択部１０３では、音源方向入力部１０２に入力された方向に最も近い方向に仮想音源が設定された１つのＨＲＴＦをＨＲＴＦ記憶部１０４から選択した。しかし、ＨＲＴＦ選択部１０３は、指定された方向を囲む位置に仮想音源が設定された３つのＨＲＴＦをＨＲＴＦ記憶部１０４から選択し、それらから指定された方向に仮想音源が設定されたＨＲＴＦを補間計算により推定する構成としてもよい。または、指定された方向周辺に仮想音源が設定された複数のＨＲＴＦを選択する構成としてもよい。すなわち、仮想音源位置が同一側方角で上昇角が異なる複数のＨＲＴＦを選択して読み出し、それぞれのＨＲＴＦに対してノッチ幅調整処理を行い、それら複数のノッチ調整済みＨＲＴＦを合成して音響信号に畳み込んでもよい。これにより、ＨＲＴＦ記憶部１０４に記憶されているＨＲＴＦデータセットの角度分解能が低くても、合成前の複数のノッチがそれぞれ別個のノッチとして合成後まで残存し難くなる。
【００５６】
また、本実施形態においては、ＨＲＴＦ選択部１０３がＨＲＴＦを選択することで、信号処理装置１０がＨＲＴＦを表す情報を取得するものとしたが、これに限らない。例えば、信号処理装置１０が上昇角を示す情報をＨＲＴＦ記憶部１０４へ出力し、ＨＲＴＦ記憶部１０４がその上昇角に対応するＨＲＴＦを選択して信号処理装置１０へ出力してもよい。
【００５７】
また、本実施形態において音源高さ入力部１０６では仮想音源方向を中心とした広がり角を入力したが、例えば仮想音源の上端位置の上昇角である上限上昇角と仮想音源の下端位置の上昇角である下限上昇角を直接入力する方式であってもよい。またこれに替えて、仮想音源の上限上昇角と下限上昇角が算出できる値であれば、他のパラメータを使用した他の入力形式を用いてもよい。
【００５８】
本実施形態においてノッチ幅調整部１０７では２つのノッチＮ１、Ｎ２の両方のノッチ幅を調整したが、調整するノッチはノッチＮ１、Ｎ２のどちらか一方でもよい。例えば図７に示すように、仮想音源の上昇角に対するノッチＮ１の周波数は、天頂方向(９０度)付近でピークを持ち、９０度から１２０度付近ではあまり変化しない。それに対してより周波数の高いノッチＮ２の周波数は１５０度付近にピークを持ち、１２０度から１８０度での変化量が小さい。そのため、例えば天頂方向付近に仮想音源が分布する場合、変化の小さいノッチＮ１の幅を広げず、変化の大きいノッチＮ２のみ幅を広げるように制御してもよい。
【００５９】
また本実施形態においては、ノッチ幅拡張部１０７３でリサンプリングすることによってノッチ幅を広げたが、その他の方法を用いてノッチ幅を広げてもよい。例えば、ＨＲＴＦをノッチ部とその他の部分に分離し、ノッチ部分のみを所定の周波数刻みで所定量変化させたものを複数生成して、それらを合成する。そしてその合成したノッチ部をその他の部分と再度合成することでノッチ幅を広げてもよい。ここで所定の周波数刻みは、例えばノッチ周波数の弁別限である０．１オクターブ以下であることが望ましい。こうすることで、ＨＲＴＦ全体を合成する場合に比べて計算処理量を低減しながら、合成前の複数のノッチがそれぞれ別個のノッチとして残存させることなくノッチ部分を合成することができる。また信号処理装置１０は、ノッチの幅や周波数を直接調整するものに限定されない。すなわち、信号処理装置１０は、ＨＲＴＦに関するその他のパラメータを制御することで、結果的にノッチが変更されたＨＲＴＦを生成してもよい。
【００６０】
本実施形態ではノッチ幅調整部１０７で調整したＨＲＴＦをＨＲＴＦ畳み込み部１０８へ出力したが、例えば調整したＨＲＴＦをＨＲＴＦ記憶部１０４へ記憶してもよい。つまり、本発明は、仮想音源の見かけの高さ（垂直見込み角）および中心上昇角に応じたノッチ調整済みＨＲＴＦを生成する装置であってもよく、ＨＲＴＦ畳み込み部１０８および音響信号出力部１０９のない構成としてもよい。
【００６１】
さらに本実施形態ではリアルタイムにノッチ幅を調整したが、ＨＲＴＦ記憶部１０４に事前に計算し、保存したノッチ調整済みＨＲＴＦを用いて立体音響処理がなされてもよい。例えば、システムは予め点音源用のＨＲＴＦと、広がり音源用のＨＲＴＦとを備える。ここで広がり音源用のＨＲＴＦとは、点音源用のＨＲＴＦを調整して仮想音源の垂直見込み角又は広がり角を所定の角度幅に広げたＨＲＴＦを指す。そしてこの広がり音源用のＨＲＴＦとして、仮想音源の中心上昇角ごとに１０度幅、３０度幅、６０度幅、９０度幅に広げた複数のＨＲＴＦを用意し、それらをＨＲＴＦ記憶部１０４へ記憶しておく。
【００６２】
また別の方法として、ＨＲＴＦの上昇角の分解能の略半分の大きさの広がり角を持つＨＲＴＦを広がり音源用のＨＲＴＦとしてＨＲＴＦ記憶部１０４へ記憶しておく方法もある。その場合、入力された仮想音源の中心上昇角および垂直見込み角に応じて複数の広がり音源用ＨＲＴＦを選択して読み出し、それらを合成して所望の垂直見込み角を持つＨＲＴＦを生成する。例えば、上昇角の分解能が１０度で広がり角が５度のＨＲＴＦセットを用意した場合、上昇角２０度から４０度の範囲に仮想音源が設定されたＨＲＴＦを生成するためには、中心上昇角が２５度と３５度の２つのＨＲＴＦを合成すればよい。
【００６３】
また本実施形態の音源方向入力部１０２は、例えば図８に示すようなＧＵＩから入力できるようになっているとよい。図８に示すＵＩ画面１０２１は、各パラメータを指定する下記のような入力部を備える。音源選択部１０２２は、どの仮想音源を制御するかをプルダウン形式で選択することができる。仮想音源上昇角設定部１０２３は、仮想音源の上昇角をポインタの位置で設定することができる。仮想音源側方角設定部１０２４は、仮想音源の側方角をポインタの位置で設定することができる。音源高さ設定部１０２５は、仮想音源の見かけの高さ（垂直見込み角）をスライダーの位置で設定することができる。シークバー１０２６は、仮想音源の位置を時間経過に応じて変化させるために、スライダーで時間を指定し、時間ごとに上昇角、側方角、および垂直見込み角又は広がり角を指定可能にする。なお、ユーザ操作により指定可能なパラメータは上記に限定されない。例えば、仮想音源の上昇角と側方角に代えて仮想音源の仰俯角と方位角を指定可能であってもよい。
【００６４】
また、ＨＲＴＦ選択部１０３は、仮想音源の中心上昇角に最も近い上昇角に対応したＨＲＴＦを選択するとしたが、仮想音源の下端までの上昇角から上端までの上昇角の間の上昇角に対応するＨＲＴＦを選択してもよい。この場合、図１に示す信号処理装置１０は、音源高さ入力部１０６からＨＲＴＦ選択部１０３にも仮想音源の見かけの高さ情報が送信されるようにする。
【実施形態２】
【００６５】
実施形態１では、仮想音源の高さ方向（上昇角方向）の広がりを制御する方法について説明した。本実施形態においては、仮想音源の高さ方向（上昇角方向）と幅方向（側方角方向）の広がりを制御する例について説明する。
【００６６】
図９に、実施形態２における立体音響処理システムのブロック図を示す。実施形態２では、ユーザが仮想音響空間内を自由に動き回りながらその仮想空間内に設置された仮想音源から発音される音を聴取することを可能にするためのシステムについて説明する。音響信号入力部１０１、ＨＲＴＦ記憶部１０４、ＨＲＴＦ畳み込み部１０８、音響信号出力部１０９は実施形態１と同一であるため説明を省略し、実施形態１と異なる点を中心に簡潔に説明する。
【００６７】
音源位置設定部２１０は、仮想空間内における仮想音源の中心位置を設定する。例えば、仮想空間上の３次元直交座標系の位置（音源のＸ座標、Ｙ座標、Ｚ座標）＝（Ｓｘ（ｔ）、Ｓｙ（ｔ）、Ｓｚ（ｔ））が設定される。ここでｔは時刻を表す。設定された仮想音源の位置は、音源位置設定部２１０から音源方向および距離算出部２０２へ出力される。
【００６８】
音源の大きさ設定部２１２は、音源位置設定部２１０で中心位置が設定された仮想音源について、その仮想音源の大きさを設定する。例えば、仮想音源を球と仮定し、音源の大きさ設定部２１２では仮想音源の半径ＳＲを入力する。入力された仮想音源の半径ＳＲは、音源の大きさ設定部２１２から仮想音源の見かけの大きさ算出部２０６へ出力される。
【００６９】
聴取点位置視線方向設定部２１１では、仮想空間内に配置された聴取点の位置（Ｘ座標、Ｙ座標、Ｚ座標）＝（Ｌｘ（ｔ）、Ｌｙ（ｔ）、Ｌｚ（ｔ））と向き(視線方向)（ピッチ角、ヨー角、ロール角）＝（Ｌｐｉｔ、Ｌｙａｗ、Ｌｒｏｌ、ｔ）を設定する。設定された聴取点の位置と向きは、聴取点位置視線方向設定部２１１から音源方向および距離算出部２０２へ出力される。
【００７０】
音源方向および距離算出部２０２では、音源位置設定部２１０で設定された仮想空間内の仮想音源の位置と、聴取点位置視線方向設定部２１１で設定された聴取点の位置および視線方向とから、仮想音源の方向と聴取点と仮想音源との距離を算出する。算出した仮想音源方向（聴取点の視線方向に対する仮想音源の相対的な側方角および上昇角）＝(Ｓｌ（ｔ）、Ｓｖ（ｔ）)は、ＨＲＴＦ選択部１０３およびＨＲＴＦ調整部２０７へ出力される。また音源方向および距離算出部２０２で算出した仮想音源距離（聴取点から仮想音源までの相対的な距離）＝ＳＤ（ｔ）は音源の見かけの大きさ算出部２０６へ出力される。
【００７１】
仮想音源の見かけの大きさ算出部２０６では、音源の大きさ設定部２１２で設定された仮想音源の半径ＳＲと音源方向および距離算出部２０２から入力された聴取点と仮想音源との相対的な距離ＳＤ（ｔ）に基づいて、仮想音源の見込み角ＳＡ(ｔ)を算出する。音源の見かけの大きさ算出部２０６は、ＨＲＴＦを保有する側方角ごとに、側方角に応じて上昇角方向の仮想音源の見込み角を算出する。ここでは仮想音源を球と仮定しているので、側方角がＳｌ（ｔ）のとき、すなわち球の中心方向では見込み角がＳＡ（ｔ）となる。一方、側方角がＳｌ（ｔ）-ＳＡ（ｔ）／２およびＳｌ（ｔ）＋ＳＡ（ｔ）／２のとき、すなわち球の端では見込み角が０となる。算出した仮想音源の見込み角ＳＡ(ｔ)はＨＲＴＦ選択部１０３およびＨＲＴＦ調整部２０７へ出力される。
【００７２】
ＨＲＴＦ選択部１０３は、音源方向および距離算出部２０２で算出した仮想音源方向（Ｓｌ（ｔ）、Ｓｖ（ｔ））および音源の見かけの大きさ算出部２０６で算出した仮想音源の見込み角ＳＡ（ｔ）に基づいてＨＲＴＦ記憶部１０４からＨＲＴＦを読み出す。ＨＲＴＦ選択部１０３は、仮想音源が球であることから、上昇角が略Ｓｖ（ｔ）で側方角がＳｌ（ｔ）-ＳＡ（ｔ）／２からＳｌ（ｔ）＋ＳＡ（ｔ）／２の間にある方向のＨＲＴＦを選択して読み出す。選択した複数のＨＲＴＦはＨＲＴＦ調整部２０７へ出力される。
【００７３】
ＨＲＴＦ調整部２０７は、ＨＲＴＦ選択部１０３により選択された複数のＨＲＴＦのそれぞれに対して実施形態１で示したノッチ幅調整処理を行い、処理した周波数スペクトルを重み付加算により合成して合成ＨＲＴＦをＨＲＴＦ畳み込み部１０８へ出力する。
【００７４】
信号処理装置２０のハードウェア構成としては、実施形態１の信号処理装置１０と同じ図５に示す構成とすることができる。
【００７５】
続いて図１０は、本発明の実施形態２の立体音響処理を示すフローチャートである。
【００７６】
Ｓ２０１では、音源位置設定部２１０においてユーザからの入力に基づき仮想音源位置の設定が行われる。ここで仮想音源位置は、時間経過と共に移動するものであってもよく、また聴取点の位置や視線方向などに応じてインタラクティブに移動するようにプログラムされていてもよい。設定された仮想音源位置は、音源位置設定部２１０から音源方向および距離算出部２０２へ出力される。
【００７７】
Ｓ２０２では、音源大きさ設定部２１２においてユーザからの入力に基づき仮想音源の大きさが設定される。設定された仮想音源の大きさは、音源大きさ設定部２１２から仮想音源の見かけの大きさ算出部２０６へ出力される。
【００７８】
Ｓ２０３では、音響信号入力部１０１において音響信号が書き込まれた音声ファイルを受信すると所定のフレーム毎に音響信号を切り出し、切り出したフレーム信号がＨＲＴＦ畳み込み部１０８へ出力される。なお、ここで音響信号とは各仮想音源から発音される音響信号を指す。
【００７９】
なお複数の仮想音源が存在する場合、それら仮想音源ごとにＳ２０１からＳ２０３を繰り返し行う。またＳ２０１からＳ２０３はそれぞれ独立した処理であるので、順序は入れ替え可能であり、同時に並行して行うことも可能である。
【００８０】
Ｓ２０４では、続いて聴取点位置視線方向設定部２１１において、ユーザからの入力に基づき聴取点の位置および視線方向の設定が行われる。設定された聴取点の位置及び視線方向は、聴取点位置視線方向設定部２１１から音源方向および距離算出部２０２へ出力される。
【００８１】
Ｓ２０５では、音源方向および距離算出部２０２において聴取点の視線方向と各仮想音源との相対方向および聴取点と各仮想音源との距離が算出される。算出された仮想音源方向はＨＲＴＦ選択部１０３およびＨＲＴＦ調整部２０７へ、算出された距離は音源の見かけの大きさ算出部２０６へそれぞれ出力される。
【００８２】
Ｓ２０６では、音源の見かけの大きさ算出部２０６において聴取点から見た各仮想音源の見かけの大きさを示す見込み角が算出される。算出された仮想音源の見かけの大きさは、音源の見かけの大きさ算出部２０６からＨＲＴＦ選択部１０３およびＨＲＴＦ調整部２０７へ出力される。
【００８３】
Ｓ２０７では、ＨＲＴＦ選択部１０３は、入力された仮想音源方向、距離、および仮想音源の見かけの大きさに基づき、ＨＲＴＦ記憶部１０４から最も適したＨＲＴＦの選択および読み出しが行われる。選択されたＨＲＴＦはＨＲＴＦ調整部２０７へ出力される。
【００８４】
Ｓ２０８では、ＨＲＴＦ調整部２０７は、ＨＲＴＦ選択部１０３で選択されたＨＲＴＦの調整が行われる。調整されたＨＲＴＦは、ＨＲＴＦ調整部２０７からＨＲＴＦ畳み込み部１０８へ出力される。
【００８５】
Ｓ２０９では、ＨＲＴＦ畳み込み部１０８において音響信号へのＨＲＴＦ畳み込み処理が行われるが、この処理は実施形態１のＳ１０９と同様のためここでは説明を割愛する。
【００８６】
以上説明した処理制御を行うことで、仮想音響空間内の任意の位置に配置された任意の大きさを持つ仮想音源に対して、聴取点と仮想音源との距離に応じて広がり感が変化するヘッドホン立体音響を簡易に再現することができる。
【００８７】
本実施形態において仮想音源の大きさ設定部２１２では仮想音源を球と仮定したが、立方体や直方体、など別の形を仮定し、仮想音源のサイズを入力できるようにしてもよい。その場合、音源の見かけの大きさ算出部２０６では、仮想音源の形状に応じてＨＲＴＦを保有する側方角ごとに、上昇角方向と平行な方向での仮想音源の垂直見込み角又は広がり角を算出する。
【００８８】
本実施形態においてＨＲＴＦ調整部２０７では同一上昇角で側方角の異なる複数のＨＲＴＦを選択し、ＨＲＴＦ調整部２０７ですべてのＨＲＴＦの周波数スペクトルのノッチ幅を調整したが、側方角方向の仮想音源の幅の調整は別の手段を用いてもよい。例えば、初期側方エネルギーを制御することで仮想音源の幅を制御することができる。または、仮想音源方向に対して側方角方向におおよそプラスマイナス９０度方向のＨＲＴＦに対して数十ミリ秒程度の遅延処理とゲインを制御することでも仮想音源の幅を制御することができる。
【００８９】
さらに、音響信号に対して仮想音源を無相関化した２つの仮想音源に分離する処理を行って２つの音響信号を生成し、無相関化した２つの仮想音源を有する２つの音響信号に対して側方角の異なる２つのＨＲＴＦを一対一対応するよう畳み込んでもよい。畳み込み処理後、２つの音響信号を１つの音響信号に合成する。この場合、２つのＨＲＴＦの側方角と上昇角を（Ｓｌ（ｔ）-ＳＡ（ｔ）／２、Ｓｖ（ｔ））と（Ｓｌ（ｔ）＋ＳＡ（ｔ）／２、Ｓｖ（ｔ））とに設定することで側方角方向の仮想音源の幅を制御すればよい。音響信号の無相関化は、音響信号入力部１０１に入力される前に予め行われていてもよいし、音響信号入力部１０１とＨＲＴＦ畳み込み部１０８との間に音響信号無相関化部を設け、そこで行うようにしてもよい。また、音響信号の合成は、ＨＲＴＦ畳み込み部１０８と音響信号出力部１０９との間に設けた音響信号合成部で合成するようにしてもよい。なお、ここでは仮想音源を２つに分離したが、３つ以上に分離してもよい。
【００９０】
ここに示した方法は一例であり、仮想音源を配置する角度やその時に配置する仮想音源の音量、また無相関化した仮想音源の混合度などを制御して仮想音源幅を制御してもよい。
【００９１】
また、仮想音源の側方角方向の定位感は、同一上昇角のＨＲＴＦをパンニングすることで得られる。両耳間時間差、両耳間レベル差（または両耳間強度差）に基づくパンニングで生成したＨＲＴＦを合成するということは、ＨＲＴＦの両耳間の時間差に関して重み付移動平均をとることと等しい。したがって、ＨＲＴＦ選択部１０３で仮想音源方向（Ｓｌ（ｔ）、Ｓｖ（ｔ））に最も近い方向に対応するＨＲＴＦを選択し、ＨＲＴＦ調整部２０７で選択したＨＲＴＦに対するノッチ幅調整処理および両耳間の時間差に関する重み付移動平均処理を行ってもよい。
【００９２】
本実施形態においてもＨＲＴＦ調整部２０７で調整したＨＲＴＦを予めＨＲＴＦ記憶部１０４へ記憶し、処理時にはＨＲＴＦ記憶部１０４から調整処理済みのＨＲＴＦを読み出すだけの構成になっていてもよい。すなわち、音響信号が入力されてその音響信号にＨＲＴＦを畳み込む処理を行う間、ＨＲＴＦのノッチ幅調整処理を行わない構成であってもよい。
【００９３】
本実施形態の立体音響処理システムは映像システムと組み合わせて使用することができる。例えば、ゲームやＶＲ、ＡＲなどに適応することができる。その場合には、例えば本実施形態による仮想音源位置設定や仮想音源の大きさの設定などは、コンテンツ製作者（映像クリエータやゲームクリエータ）が設定する。ユーザは仮想音源に対する聴取点の相対的な位置や視線方向をゲームコントローラやタブレットなどから入力するようになっていてもよい。
【００９４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９５】
１０  信号処理装置
１０２  音源方向入力部
１０３  ＨＲＴＦ選択部
１０６  音源高さ入力部
１０７  ノッチ幅調整部
【図１】
2020088632.tif 000004
【図２】
2020088632.tif 000005
【図３】
2020088632.tif 000006
【図４】
2020088632.tif 000007
【図５】
2020088632.tif 000008
【図６】
2020088632.tif 000009
【図７】
2020088632.tif 000010
【図８】
2020088632.tif 000011
【図９】
2020088632.tif 000012
【図１０】
2020088632.tif 000013