(57)【要約】【課題】音場を状態空間モデルでモデリングし、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列を算出する。【解決手段】係数行列算出部３０のブロックハンケル行列生成部２１は、ＢＲＩＲ行列ｇ（ｋ）を用いてブロックハンケル行列Ｈi,jを生成する。特異値分解部２２は、ブロックハンケル行列Ｈi,jを特異値分解し、次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTを求め、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合の次数ｎの行列Γn，Ωnを生成し、次数（ｎ＋１）の行列Γn+1を生成する。入出力行列決定部２３は、行列Γn，Ωnの第１ブロックを抽出し、係数行列Ｃ及び係数行列Ｂを決定する。システム行列決定部２４は、行列Γn+1から行列Γ^，Γ~を生成し、係数行列Ａを決定する。【選択図】図７
2019050445.tif 000002
【特許請求の範囲】
【請求項１】
所定数の音源を再生するスピーカから聴取者へ音響信号が提示される音場を状態空間モデルで表した場合の、当該状態空間モデルのバイノーラル再生用の係数行列を算出する係数行列算出装置において、
前記音場の特性を表すインパルス応答を入力し、当該インパルス応答を用いてブロックハンケル行列を生成するブロックハンケル行列生成部と、
前記ブロックハンケル行列生成部により生成された前記ブロックハンケル行列を特異値分解し、所定次数の直行行列を第１行列、特異値行列を第２行列、及び直行行列の転置行列を第３行列として生成し、前記所定次数の前記第１行列、前記第２行列及び前記第３行列に基づいて、前記ブロックハンケル行列を第４行列及び第５行列の積で表した場合の前記所定次数の前記第４行列及び前記第５行列を生成し、前記所定次数よりも１つ高い次数の前記第４行列を生成する特異値分解部と、
前記特異値分解部により生成された前記所定次数の前記第４行列及び前記第５行列、並びに前記所定次数よりも１つ高い次数の前記第４行列に基づいて、前記係数行列を決定する係数行列決定部と、
を備えたことを特徴とする係数行列算出装置。
【請求項２】
請求項１に記載の係数行列算出装置において、
さらに、前記音場の特性を表すインパルス応答を入力し、当該インパルス応答を複数の帯域に分割するための所定のカットオフ周波数にて帯域通過フィルタ処理を行う帯域分割部を備え、
前記ブロックハンケル行列生成部は、
前記帯域分割部により帯域通過フィルタ処理が行われた前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする係数行列算出装置。
【請求項３】
請求項２に記載の係数行列算出装置において、
さらに、前記帯域分割部により帯域通過フィルタ処理が行われた前記インパルス応答に対し、サンプルの間引きを行う間引き部を備え、
前記ブロックハンケル行列生成部は、
前記間引き部により間引きされた前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする係数行列算出装置。
【請求項４】
請求項３に記載の係数行列算出装置において、
さらに、前記間引き部により間引きされた前記インパルス応答からそのピーク位置を求め、当該ピーク位置の時間をむだ時間として求め、前記インパルス応答から前記むだ時間を分離するむだ時間分離部を備え、
前記ブロックハンケル行列生成部は、
前記むだ時間分離部により前記むだ時間が分離された前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする係数行列算出装置。
【請求項５】
請求項１に記載の係数行列算出装置において、
さらに、前記音場の特性を表すインパルス応答を入力し、当該インパルス応答からそのピーク位置を求め、当該ピーク位置の時間をむだ時間として求め、前記インパルス応答から前記むだ時間を分離するむだ時間分離部を備え、
前記ブロックハンケル行列生成部は、
前記むだ時間分離部により前記むだ時間が分離された前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする係数行列算出装置。
【請求項６】
コンピュータを、請求項１から５までのいずれか一項に記載の係数行列算出装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル音響をバイノーラル再生するためのパラメータ（係数行列）を算出する係数行列算出装置及びプログラムに関する。
【背景技術】
【０００２】
従来、５．１ｃｈサラウンド方式、８Ｋスーパーハイビジョンの音響方式である２２．２マルチチャンネル音響（以下、「２２．２ｃｈ音響」という。）等、ステレオを上回るチャンネル数で音響信号を再生するマルチチャンネル音響方式の機運が高まっている。マルチチャンネル音響方式は、音の３次元的な到来方向を聴取者へ提示するという特徴を持つ。
【０００３】
一方、スマートフォン、タブレット等の端末が普及しており、個人が端末を用いて好みのコンテンツをいつでもどこでも視聴するという新たな視聴スタイルが広まりつつある。この視聴スタイルの一つとして、ヘッドホンを用いた音響信号再生方式がある。
【０００４】
ヘッドホンを用いた音響信号再生方式の例として、音の３次元情報を提示するバイノーラル技術を用いて、２２．２ｃｈ音響をヘッドホンで再現する手法が知られている（例えば特許文献１を参照）。この手法は、ある音源から人の両耳までの伝搬特性を周波数領域で表現した頭部伝達関数（head-related transfer function：ＨＲＴＦ）を用いるものである。また、２２．２ｃｈ音響をヘッドホンで再現する処理において、音源信号に対し、ＨＲＴＦを時間領域で表現した頭部インパルス応答（head-related impulse response：ＨＲＩＲ）を畳み込んでいる。
【０００５】
マルチチャンネル音響のコンテンツを再生する際に、コンテンツ制作者の意図に沿う再生を実現するためには、コンテンツ制作者が想定したチャンネル数及びチャンネル配置と同じフォーマットを有する音響システムを構成することが望ましい。
【０００６】
しかしながら、一般の家庭では、２２．２ｃｈ音響等の多チャンネルに及ぶスピーカを設置することは困難である。この問題を解決するために、ＨＲＩＲを畳み込んだ音響信号をヘッドホンで再生するバイノーラル再生方式が知られている。
【０００７】
図１９は、バイノーラル再生を説明する図である。バイノーラル再生とは、所望の音像を再現する際に、音源９０からの音源信号に対し、フィルタ９１−１，９１−２にてＨＲＩＲright，ＨＲＩＲleftをそれぞれ畳み込み、畳み込み後の音響信号を聴取者９２の耳９３−１，９３−２にて再現することをいう。
【０００８】
このようなバイノーラル再生を行うことにより、聴取者９２は、マルチチャンネル音響システムよりも小規模なシステムにて、仮想音源のスピーカ９４からの擬似的なサラウンド音響を享受することができる。特に、近年では、スマートフォン、タブレット等を用いてコンテンツを視聴するスタイルが広まっており、その際の音響再生にはヘッドホンが用いられることが多いため、バイノーラル再生の有用性は非常に高い。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第６０１８４８５号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述の特許文献１に記載されているように、音響信号をバイノーラル再生するための処理に、有限インパルス応答フィルタ（finite impulse response filter：ＦＩＲフィルタ）が用いられることが多い。
【００１１】
しかしながら、例えば空間の残響情報を含むバイノーラル室内インパルス応答（binaural room impulse response：ＢＲＩＲ）のように、フィルタの応答長が長い（すなわちフィルタ次数が高い）場合には、ＦＩＲフィルタを用いて畳み込み演算を行うと、計算コストが高くなり、実時間での処理が難しくなる。
【００１２】
バイノーラル再生を行うためには、音源９０からの音源信号に対し、耳９３−１，９３−２に対応したそれぞれのＢＲＩＲを畳み込む必要があるため、チャンネル数×２個のＦＩＲフィルタが必要となる。
【００１３】
したがって、特に２２．２ｃｈ音響のようにチャンネル数の多いシステムでは、フィルタ次数の高さによる計算コストへの影響が顕著になる。
【００１４】
ＦＩＲフィルタの代わりに、高速フーリエ変換を用いた周波数領域での乗算を行うことにより、高速化を実現することができる。しかし、この処理では、フィルタサイズ分のバッファが必要となるため、処理遅延が大きくなるという問題が生じる。
【００１５】
このため、より低いフィルタ次数にて、音源９０から聴取者９２の耳９３−１，９３−２までの間の音場情報が欠落しないように、高い精度で音場をモデリングし、かつ遅延の短い処理を実現することが所望されている。
【００１６】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、音場を状態空間モデル（State Space Model：ＳＳＭ）でモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列を算出する係数行列算出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１７】
前記目的を達成するために、請求項１の係数行列算出装置は、所定数の音源を再生するスピーカから聴取者へ音響信号が提示される音場を状態空間モデルで表した場合の、当該状態空間モデルのバイノーラル再生用の係数行列を算出する係数行列算出装置において、前記音場の特性を表すインパルス応答を入力し、当該インパルス応答を用いてブロックハンケル行列を生成するブロックハンケル行列生成部と、前記ブロックハンケル行列生成部により生成された前記ブロックハンケル行列を特異値分解し、所定次数の直行行列を第１行列、特異値行列を第２行列、及び直行行列の転置行列を第３行列として生成し、前記所定次数の前記第１行列、前記第２行列及び前記第３行列に基づいて、前記ブロックハンケル行列を第４行列及び第５行列の積で表した場合の前記所定次数の前記第４行列及び前記第５行列を生成し、前記所定次数よりも１つ高い次数の前記第４行列を生成する特異値分解部と、前記特異値分解部により生成された前記所定次数の前記第４行列及び前記第５行列、並びに前記所定次数よりも１つ高い次数の前記第４行列に基づいて、前記係数行列を決定する係数行列決定部と、を備えたことを特徴とする。
【００１８】
また、請求項２の係数行列算出装置は、請求項１に記載の係数行列算出装置において、さらに、前記音場の特性を表すインパルス応答を入力し、当該インパルス応答を複数の帯域に分割するための所定のカットオフ周波数にて帯域通過フィルタ処理を行う帯域分割部を備え、前記ブロックハンケル行列生成部が、前記帯域分割部により帯域通過フィルタ処理が行われた前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする。
【００１９】
また、請求項３の係数行列算出装置は、請求項２に記載の係数行列算出装置において、さらに、前記帯域分割部により帯域通過フィルタ処理が行われた前記インパルス応答に対し、サンプルの間引きを行う間引き部を備え、前記ブロックハンケル行列生成部が、前記間引き部により間引きされた前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする。
【００２０】
また、請求項４の係数行列算出装置は、請求項３に記載の係数行列算出装置において、さらに、前記間引き部により間引きされた前記インパルス応答からそのピーク位置を求め、当該ピーク位置の時間をむだ時間として求め、前記インパルス応答から前記むだ時間を分離するむだ時間分離部を備え、前記ブロックハンケル行列生成部が、前記むだ時間分離部により前記むだ時間が分離された前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする。
【００２１】
また、請求項５の係数行列算出装置は、請求項１に記載の係数行列算出装置において、さらに、前記音場の特性を表すインパルス応答を入力し、当該インパルス応答からそのピーク位置を求め、当該ピーク位置の時間をむだ時間として求め、前記インパルス応答から前記むだ時間を分離するむだ時間分離部を備え、前記ブロックハンケル行列生成部が、前記むだ時間分離部により前記むだ時間が分離された前記インパルス応答を入力し、当該インパルス応答を用いて前記ブロックハンケル行列を生成する、ことを特徴とする。
【００２２】
さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の係数行列算出装置として機能させることを特徴とする。
【発明の効果】
【００２３】
以上のように、本発明によれば、音場を状態空間モデルでモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列を算出することができる。
【図面の簡単な説明】
【００２４】
【図１】ｍ入力２出力の音響システムの例を説明する図である。
【図２】２ｍ入力２出力の音響システムの例を説明する図である。
【図３】状態空間モデルの構成を説明するブロック図である。
【図４】むだ時間を含む音響システムを状態空間モデルで表した場合の構成を説明するブロック図である。
【図５】本発明の実施形態による係数行列算出装置のハードウェア構成を示す概略図である。
【図６】制御部（係数行列算出部）の処理例を示すフローチャートである。
【図７】制御部（係数行列算出部）の構成例を示すブロック図である。
【図８】係数行列算出部をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図９】係数行列算出部を２ｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図１０】信号演算部の構成を示すブロック図である。
【図１１】係数行列算出部の他の例（第１構成例）を示すブロック図である。
【図１２】第１構成例の係数行列算出部をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図１３】係数行列算出部の他の例（第２構成例）を示すブロック図である。
【図１４】第２構成例の係数行列算出部をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図１５】係数行列算出部の他の例（第３構成例）を示すブロック図である。
【図１６】第３構成例の係数行列算出部をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図１７】係数行列算出部の他の例（第４構成例）を示すブロック図である。
【図１８】第４構成例の係数行列算出部をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。
【図１９】バイノーラル再生を説明する図である。
【発明を実施するための形態】
【００２５】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、音源から聴取者の耳までの間の音場を状態空間モデルにて表し、音場の特性を表すインパルス応答に基づいて、状態空間モデルのパラメータである係数行列を決定することを特徴とする。具体的には、本発明は、インパルス応答からブロックハンケル行列を生成して特異値分解し、ブロックハンケル行列を２つの行列の積で表した場合の当該２つの行列を、特異値分解の結果に基づいて算出し、所定次数の２つの行列を用いて係数行列を決定する。
【００２６】
これにより、音場を状態空間モデルで表した場合の係数行列は、簡易な処理にて得ることができる。また、時間領域でサンプル毎の演算を行うため、周波数領域での乗算と比べて低遅延での処理を実現することができる。さらに、音場を状態空間モデルで表すことで、音場を多入力多出力の音響システムとみなし、伝達関数の極や零点を共通化してモデリングするから、音場をモデリングする際の次数を抑えることができ、計算コストを下げることができる。したがって、マルチチャンネル音響を、低計算コストかつ低処理遅延にバイノーラル再生することが可能となる。
【００２７】
〔音場の状態空間モデル〕
まず、音源９０を再生するスピーカ９４から聴取者９２の耳９３−１，９３−２までの間の音場を状態空間モデルで表す場合について説明する。図１９を参照して音源９０を再生するスピーカ９４の位置を入力端とし、聴取者９２の耳９３−１，９３−２である受音点位置を出力端とし、入力端から出力端までの音の伝搬特性を音場とする。
【００２８】
一般に、音源９０を再生するスピーカ９４から聴取者９２の耳９３−１，９３−２までの間の音場を状態空間モデルで表す手法として、部分空間法が知られている。部分空間法は、スピーカ９４から再生して音場へ入力する測定信号と、聴取者９２の耳９３−１，９３−２の位置で観測される応答信号とを用いて、状態空間モデルを直接同定する手法である。また、これらの測定信号及び応答信号から音場のインパルス応答を算出し、インパルス応答から状態空間モデルを同定する特異値分解法等も知られる。
【００２９】
本発明の実施形態では、特異値分解法によるモデリングを例に挙げて説明する。特異値分解法を用いるための前提条件として、ＨＲＩＲ、ＢＲＩＲ等のインパルス応答は既知であるとする。以下の説明では、ＢＲＩＲを用いることとするが、ＨＲＩＲの場合も同様である。
【００３０】
以下、音源９０を再生するスピーカの数をｍ、受音点の数をｐ（受音点が聴取者９２の耳９３−１，９３−２の場合はｐ＝２）とし、ＢＲＩＲを多入力多出力の音場の特性として、状態空間モデルをモデリングする。同じ再生系であっても、音場の入力数と出力数はモデリングの方法によって異なる。出力数については、バイノーラル再生を想定するため、ｐ＝２とする。
【００３１】
図１は、ｍ入力２出力の音響システムの例を説明する図である。音源９０−１〜９０−ｍを再生するスピーカ（図示せず）の位置が音場への入力端であり、聴取者９２の耳９３−１，９３−２である受音点位置が出力端であり、この音響システムは、ｍ入力２出力のシステムである。
【００３２】
ｍ個の入力端からｐ＝２個の出力端までの音の伝搬特性は、フィルタ９１−１１，９１−１２〜９１−ｍ１，９１−ｍ２で畳み込みを行うＢＲＩＲにて決定される。音源９０−１〜９０−ｍを再生するスピーカのそれぞれから聴取者９２の耳９３−１，９３−２までのＢＲＩＲは、各スピーカにつき聴取者９２の耳９３−１，９３−２までの２種類存在するため、ＢＲＩＲの総数は２ｍとなる。また、ＢＲＩＲを畳み込んだ信号は、耳９３−１，９３−２に対応する信号合成部９５−１，９５−２にてそれぞれ合成される。例えば、２２．２ｃｈ音響の音場を再現する音響システムは、２４入力２出力となる。
【００３３】
図２は、２ｍ入力２出力の音響システムの例を説明する図である。音源９０−１〜９０−ｍを再生する音場には、音源９０−１〜９０−ｍを再生するスピーカ（図示せず）から聴取者９２の耳９３−１，９３−２への２つの入力端があるとし、聴取者９２の耳９３−１，９３−２である受音点位置が出力端であり、この音響システムは、２ｍ入力２出力のシステムである。
【００３４】
２ｍ個の入力端からｐ＝２個の出力端までの音の伝搬特性は、フィルタ９１−１１，９１−１２〜９１−ｍ１，９１−ｍ２で畳み込みを行うＢＲＩＲにて決定される。また、ＢＲＩＲを畳み込んだ信号は、耳９３−１，９３−２に対応する信号合成部９５−１，９５−２にてそれぞれ合成される。例えば、２２．２ｃｈ音響の音場を再現する音響システムは、４８入力２出力となる。
【００３５】
図３は、状態空間モデルの構成を説明するブロック図である。係数行列Ａ，Ｂ，Ｃ，Ｄで表した各ブロックは、入力信号と係数行列との積演算が行われる乗算器であり、ｚ-1で表したブロックは、１サンプル分の遅延（サンプルシフト）が行われる遅延器である。
【００３６】
また、このブロック図には、Ｂで表したブロックの出力信号とＡで表したブロックの出力信号との加算演算が行われる加算器が含まれる。さらに、Ｃで表したブロックの出力信号とＤで表したブロックの出力信号との加算演算が行われる加算器が含まれる。
【００３７】
時刻ｋ（ｋ＝０，１，２，・・・）について、入力信号をｕ（ｋ）、出力信号をｙ（ｋ）とすると、以下の状態方程式が成立する。
【数１】
2019050445.tif 000003
ここで、Ａ，Ｂ，Ｃ，Ｄは係数行列であり、Ａ∈Ｒn×nはシステム行列、Ｂ∈Ｒn×mは入力行列、Ｃ∈Ｒ2×nは出力行列、Ｄ∈Ｒ2×mは直達行列、ｘ（ｋ）∈Ｒn×2は状態変数、ｎは状態空間モデルの次数、Ｒp×qは、ｐ行ｑ列の実数行列からなる集合である。
【００３８】
聴取者の周囲に配置されたスピーカから聴取者の両耳までの音場を考えると、音波は空間を伝搬するため、必ずむだ時間を伴って音源９０−１〜９０−ｍを再生するスピーカから受音点に到達する。したがって、係数行列Ｄ＝０であるとみなすことができる。以下、係数行列Ｄ＝０とする。
【００３９】
図４は、むだ時間を含む音響システムを状態空間モデルで表した場合の構成を説明するブロック図である。図３に示した構成と図４に示す構成とを比較すると、図４の構成には、図３に示した構成のうち、係数行列Ｄで表したブロックを示す乗算器、及び、係数行列Ｃで表したブロックの出力信号と係数行列Ｄで表したブロックの出力信号との加算演算が行われる加算器が存在しない。
【００４０】
図４に示した状態空間モデルの状態方程式は、以下の式にて表される。
【数２】
2019050445.tif 000004
【００４１】
〔ハードウェア構成〕
次に、本発明の実施形態による係数行列算出装置のハードウェア構成について説明する。図５は、本発明の実施形態による係数行列算出装置のハードウェア構成を示す概略図である。この係数行列算出装置１は、音場を図４に示した状態空間モデルで表した場合に、状態空間モデルのパラメータである係数行列Ａ，Ｂ，Ｃを算出する装置である。
【００４２】
係数行列算出装置１は、ＣＰＵ１１と、プログラム及びテーブル等を記憶するＲＯＭ及びＲＡＭからなる記憶部１２と、アプリケーションのプログラム、テーブル及びデータ等を記憶する記憶装置（例えばハードディスク装置）１３と、当該係数行列算出装置１のオペレータによるキーボード及びマウス等の操作に伴い、所定のデータを入力制御する操作／入力部１４と、オペレータに対しデータ入力操作等を促すための画面情報を表示器に出力する表示出力インタフェース部１５と、インターネット等のネットワークを介してプログラム及びデータの送受信を行う通信部１６と、を備えて構成される。これらの構成部は、システムバス１７を介して相互に接続される。
【００４３】
記憶装置１３には、係数行列算出装置１の基本的な機能を提供するＯＳ（オペレーティングシステム）プログラム、係数行列算出プログラム、及び、係数行列算出プログラムにて使用する各種テーブル及びデータ等が記憶されている。
【００４４】
係数行列算出プログラムは、音場を図４に示した状態空間モデルで表した場合に、状態空間モデルのパラメータである係数行列Ａ，Ｂ，Ｃを算出するためのプログラムである。具体的には、係数行列算出プログラムは、音響信号のインパルス応答を入力し、当該インパルス応答からブロックハンケル行列を生成して特異値分解し、ブロックハンケル行列を２つの行列の積で表した場合に、特異値分解の結果に基づいて所定次数における２つの行列を算出し、２つの行列から係数行列Ａ，Ｂ，Ｃを算出して出力する。
【００４５】
尚、係数行列算出プログラムは、当該係数行列算出装置１が処理を行うときに、ＣＰＵ１１により記憶装置１３から記憶部１２のＲＡＭに読み出されて実行される。また、各種テーブル及びデータは、係数行列算出プログラムの実行に伴い生成され、ＣＰＵ１１によって記憶部１２のＲＡＭから記憶装置１３へ書き込まれ、また、係数行列算出プログラムの実行に伴い、ＣＰＵ１１によって記憶装置１３から記憶部１２のＲＡＭに読み出される。
【００４６】
ここで、ＯＳプログラムは、ＣＰＵ１１により実行され、係数行列算出装置１の基本的な機能として、記憶部１２、記憶装置１３、操作／入力部１４、表示出力インタフェース部１５及び通信部１６を管理する。そして、このＯＳプログラムがＣＰＵ１１によって実行された状態で、前述の係数行列算出プログラムが実行される。
【００４７】
制御部１０は、ＣＰＵ１１及び記憶部１２により構成され、ＣＰＵ１１が記憶装置１３に記憶された係数行列算出プログラムを記憶部１２に読み出して実行することにより、係数行列算出装置１全体を統括制御する。図５は、係数行列算出プログラムが記憶装置１３から記憶部１２に読み出された状態を示している。このように、係数行列算出装置１は、図５に示したハードウェア構成により、制御部１０が係数行列算出プログラムに従って各種処理を行う。
【００４８】
〔制御部１０の処理の概要〕
次に、図５に示した制御部１０の処理の概要について説明する。図６は、制御部１０の処理例を示すフローチャートである。制御部１０は、後述する係数行列算出部３０に相当する。
【００４９】
制御部１０は、係数行列Ａ，Ｂ，Ｃを入力したか否かを判定する（ステップＳ６０１）。制御部１０は、ステップＳ６０１において、係数行列Ａ，Ｂ，Ｃを入力したと判定した場合（ステップＳ６０１：Ｙ）、ステップＳ６０６へ移行する。例えば、ユーザが自らの計算等により係数行列Ａ，Ｂ，Ｃを決定した場合、制御部１０は、ユーザにより決定された係数行列Ａ，Ｂ，Ｃを入力する。
【００５０】
一方、制御部１０は、ステップＳ６０１において、係数行列Ａ，Ｂ，Ｃを入力していないと判定した場合（ステップＳ６０１：Ｎ）、次数ｎを入力したか否かを判定する（ステップＳ６０２）。制御部１０は、ステップＳ６０２において、次数ｎを入力したと判定した場合（ステップＳ６０２：Ｙ）、ステップＳ６０４へ移行する。例えば、ユーザが自らの計算等により次数ｎを決定した場合、制御部１０は、ユーザにより決定された次数ｎを入力する。次数ｎは正の整数である。
【００５１】
制御部１０は、ステップＳ６０２において、次数ｎを入力していないと判定した場合（ステップＳ６０２：Ｎ）、次数ｎを決定し（ステップＳ６０３）、ステップＳ６０４へ移行する。次数ｎの決定処理の詳細については後述する。
【００５２】
制御部１０は、ステップＳ６０２またはステップＳ６０３から移行して、音源９０−１〜９０−ｍを再生するスピーカからのＢＲＩＲを要素としたＢＲＩＲ行列ｇ（ｋ）を入力する（ステップＳ６０４）。そして、制御部１０は、ＢＲＩＲ行列ｇ（ｋ）に基づいて、係数行列Ａ，Ｂ，Ｃを決定する（ステップＳ６０５）。係数行列Ａ，Ｂ，Ｃの決定処理の詳細については後述する。
【００５３】
制御部１０は、ステップＳ６０１またはステップＳ６０５から移行して、ステップＳ６０１にて入力した係数行列Ａ，Ｂ，ＣまたはステップＳ６０５にて決定した係数行列Ａ，Ｂ，Ｃを出力する（ステップＳ６０６）。
【００５４】
〔制御部１０の構成〕
次に、図５に示した制御部１０の構成について説明する。図７は、制御部１０の構成例を示すブロック図である。この制御部１０は、次数決定部２０、ブロックハンケル行列生成部２１、特異値分解部２２、入出力行列決定部２３及びシステム行列決定部２４を備えている。前述のとおり、制御部１０は、後述する係数行列算出部３０に相当する。
【００５５】
制御部１０は、音源９０−１〜９０−ｍを再生するスピーカからのＢＲＩＲを要素とするＢＲＩＲ行列ｇ（ｋ）を入力する。ＢＲＩＲ行列ｇ（ｋ）は、ユーザにより測定された既知の信号であり、係数行列Ａ，Ｂ，Ｃを用いて以下の式にて表される。前述のとおり、係数行列Ｄ＝０である。
【数３】
2019050445.tif 000005
【００５６】
例えば、図１に示したｍ入力ｐ（ｐ＝２）出力の音響システムの場合、ＢＲＩＲ行列ｇ（ｋ）は、以下の式にて表される。
【数４】
2019050445.tif 000006
ｇjd（ｋ）は、時刻ｋにおけるｊ番目（ｊ＝１，２，・・・，ｍ）の音源９０−ｊであるスピーカから聴取者９２のｄ方向の耳（ｄ＝Ｒ）または耳（ｄ＝Ｌ）へのＢＲＩＲ行列ｇ（ｋ）の係数（要素）である。
【００５７】
同様に、例えば、図２に示した２ｍ入力ｐ（ｐ＝２）出力の音響システムの場合、ＢＲＩＲ行列ｇ（ｋ）は、以下の式にて表される。
【数５】
2019050445.tif 000007
【００５８】
次数決定部２０は、ユーザにより測定された既知のＢＲＩＲ行列ｇ（ｋ）を入力し、ＢＲＩＲ行列ｇ（ｋ）に基づいて、次数ｎを決定し、次数ｎを特異値分解部２２に出力する。例えば、次数決定部２０は、ＢＲＩＲ行列ｇ（ｋ）の特異値を算出し、特異値から最大特異値及び最小特異値を特定し、最大特異値及び最小特異値の比で表される条件数を算出し、条件数を次数ｎとして決定する。尚、次数決定部２０は、算出した特異値を降順に並べ、所定の閾値を用いた閾値処理を行い、次数ｎを決定するようにしてもよい。
【００５９】
次数ｎはその値が大きいほど、モデリングの精度は高くなるが、計算コストが高くなってしまう。このため、次数ｎは、所定値よりも小さくなるように、例えば打ち切り処理を行って決定されるのが望ましい。
【００６０】
ブロックハンケル行列生成部２１は、ＢＲＩＲ行列ｇ（ｋ）を入力し、ＢＲＩＲ行列ｇ（ｋ）を用いてブロックハンケル行列Ｈi,jを生成する。そして、ブロックハンケル行列生成部２１は、ブロックハンケル行列Ｈi,jを特異値分解部２２に出力する。
【００６１】
（ｉ×ｊ）ブロックのブロックハンケル行列Ｈi,jは、以下の式にて表される。
【数６】
2019050445.tif 000008
ｉ，ｊはブロック番号であり、Ｎは自然数の集合である。
【００６２】
特異値分解部２２は、次数決定部２０から次数ｎを入力すると共に、ブロックハンケル行列生成部２１からブロックハンケル行列Ｈi,jを入力する。また、特異値分解部２２は、場合によっては、外部から次数ｎを入力する。
【００６３】
特異値分解部２２は、以下の式のように、ブロックハンケル行列Ｈi,jを特異値分解し、直行行列Ｕ、特異値行列Σ、及び直行行列Ｖの転置行列ＶTを求める。
【数７】
2019050445.tif 000009
【００６４】
特異値分解部２２は、外部から次数ｎを入力した場合、当該次数ｎを用いて、次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTをそれぞれ生成する。一方、特異値分解部２２は、外部から次数ｎを入力しない場合、次数決定部２０から入力した次数ｎを用いて、次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTをそれぞれ生成する。
【００６５】
ここで、以下の式のように、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合を想定する。
【数８】
2019050445.tif 000010
【００６６】
行列Γi、行列Ωjは以下の式にて表される。
【数９】
2019050445.tif 000011
【数１０】
2019050445.tif 000012
【００６７】
これらの式から、以下の式が成り立つ。
【数１１】
2019050445.tif 000013
【数１２】
2019050445.tif 000014
【００６８】
一方で、ブロックハンケル行列Ｈi,jは、次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTを用いた場合、以下の式にて表される。
が成り立つ。
【数１３】
2019050445.tif 000015
直行行列Ｕn∈Ｒni×n、特異値行列Σn∈Ｒn×n、直行行列Ｖnの転置行列ＶnT∈Ｒmi×nは、それぞれ次数ｎによって分割される部分行列である。
【００６９】
したがって、ブロックハンケル行列Ｈi,jは、以下のように近似できる。
【数１４】
2019050445.tif 000016
【００７０】
前記式（１１）（１２）（１４）より、次数ｎの場合、以下の式で表される。
【数１５】
2019050445.tif 000017
【数１６】
2019050445.tif 000018
【００７１】
このように、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合（前記式（８））、次数ｎの行列Γn，Ωnは、ブロックハンケル行列Ｈi,jを特異値分解して得られた次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTで表される（前記式（１５）（１６））。
【００７２】
前記式（９）を参照して、行列Γiの第１ブロック（の要素）は係数行列Ｃであるから、次数ｎの行列Γnの第１ブロックも係数行列Ｃである。また、前記式（１０）を参照して、行列Ωjの第１ブロックは係数行列Ｂであるから、次数ｎの行列Ωnの第１ブロックも係数行列Ｂである。
【００７３】
つまり、特異値分解部２２は、前記式（１５）のように、次数ｎの直行行列Ｕn及び特異値行列Σn1/2の積を算出することで、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合の次数ｎの行列Γnを生成する。また、特異値分解部２２は、前記式（１６）のように、次数ｎの特異値行列Σn1/2、及び直行行列Ｖnの転置行列ＶnTの積を算出することで、次数ｎの行列Ωnを生成する。さらに、特異値分解部２２は、前述と同様の処理にて、次数ｎよりも１つ高い次数（ｎ＋１）の行列Γn+1を生成する。
【００７４】
特異値分解部２２は、次数ｎの行列Γn，Ωnを入出力行列決定部２３に出力し、次数ｎ＋１の行列Γn+1をシステム行列決定部２４に出力する。
【００７５】
入出力行列決定部２３は、特異値分解部２２から次数ｎの行列Γn，Ωnを入力し、次数ｎの行列Γnの第１ブロックを抽出して係数行列Ｃを決定し、次数ｎの行列Ωnの第１ブロックを抽出して係数行列Ｂを決定する。そして、入出力行列決定部２３は、係数行列Ｂ，Ｃを出力する。
【００７６】
システム行列決定部２４は、特異値分解部２２から次数ｎ＋１の行列Γn+1を入力し、行列Γn+1の第１ブロックから第ｎブロックまでを抽出して行列Γ1:nを生成し、これを行列Γ＾とする。行列Γ1:n＝Γ＾は、以下の式にて表される。
【数１７】
2019050445.tif 000019
【００７７】
システム行列決定部２４は、行列Γn+1の第２ブロックから第ｎ＋１ブロックまでを抽出して行列Γ2:nを生成し、これを行列Γ~とする。行列Γ2:n＝Γ~は、以下の式にて表される。
【数１８】
2019050445.tif 000020
【００７８】
ここで、前記式（１７）の両辺において、右側から係数行列Ａを乗算すると、以下の式が成り立つ。
【数１９】
2019050445.tif 000021
【００７９】
したがって、係数行列Ａは、以下の式にて表される。
【数２０】
2019050445.tif 000022
行列Γ＾+は、行列Γ＾のムーアペンローズ（Moore-Penrose）型擬似逆行列である。つまり、係数行列Ａは、行列Γ＾のムーアペンローズ型擬似逆行列に行列Γ~を乗算することで得られる。
【００８０】
つまり、システム行列決定部２４は、行列Γ＾のムーアペンローズ型擬似逆行列Γ＾+に行列Γ~を乗算し、係数行列Ａを決定する。そして、システム行列決定部２４は、係数行列Ａを出力する。
【００８１】
以上のように、本発明の実施形態の係数行列算出装置１によれば、制御部１０のブロックハンケル行列生成部２１は、ユーザにより測定された既知のＢＲＩＲ行列ｇ（ｋ）を用いてブロックハンケル行列Ｈi,jを生成する。
【００８２】
特異値分解部２２は、ブロックハンケル行列Ｈi,jを特異値分解し、直行行列Ｕ、特異値行列Σ、及び直行行列Ｖの転置行列ＶTを求め、所定次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTを生成する。そして、特異値分解部２２は、前記式（１５）（１６）のように、次数ｎの直行行列Ｕn、特異値行列Σn及び直行行列Ｖnの転置行列ＶnTを用いて、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合の次数ｎの行列Γn，Ωnを生成する。また、特異値分解部２２は、同様の処理にて、次数（ｎ＋１）の行列Γn+1を生成する。
【００８３】
入出力行列決定部２３は、次数ｎの行列Γn，Ωnの第１ブロックを抽出し、係数行列Ｃ及び係数行列Ｂを決定する。システム行列決定部２４は、次数ｎ＋１の行列Γn+1の第１ブロックから第ｎブロックまでを抽出し、行列Γ1:n＝Γ＾を生成し、次数ｎ＋１の行列Γn+1の第２ブロックから第ｎ＋１ブロックまでを抽出し、行列Γ2:n＝Γ~を生成する。そして、システム行列決定部２４は、行列Γ＾，Γ~に基づいて前記式（１９）の演算を行い、係数行列Ａを決定する。
【００８４】
このように、音場を状態空間モデルで表した場合の係数行列Ａ，Ｂ，Ｃは、ブロックハンケル行列Ｈi,jの特異値分解の処理を基本として、次数ｎの直行行列Ｕn、特異値行列Σn及び直行行列Ｖnの転置行列ＶnTを、ブロックハンケル行列Ｈi,jを２つの行列の積ΓiΩjで表した場合の次数ｎの行列Γn，Ωnに変換することで決定するようにした。これにより、係数行列Ａ，Ｂ，Ｃは、簡易な処理にて得ることができる。
【００８５】
また、ＢＲＩＲ行列ｇ（ｋ）を構成する全てのＢＲＩＲを一括して用いるから、ＢＲＩＲ行列ｇ（ｋ）を構成するそれぞれのＢＲＩＲに対し、共通の係数行列Ａ，Ｂ，Ｃを決定することができる。
【００８６】
このような係数行列Ａ，Ｂ，Ｃを用いて、状態空間モデルで表した音場を再現し、時間領域でサンプル毎の演算を行うため、周波数領域での乗算と比べて低遅延での処理を実現することができる。また、伝達関数の極や零点を共通化してモデリングするから、音場をモデリングする際の次数を抑えることができる。つまり、マルチチャンネル音響を、低計算コストかつ低処理遅延にバイノーラル再生することが可能となる。
【００８７】
したがって、本発明の実施形態の係数行列算出装置１によれば、音場を状態空間モデルでモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列Ａ，Ｂ，Ｃを算出することができる。
【００８８】
尚、係数行列算出装置１は、他の処理にて係数行列Ａを決定するようにしてもよい。すなわち、システム行列決定部２４は、ブロックハンケル行列生成部２１からブロックハンケル行列Ｈi,j+1を入力すると共に、特異値分解部２２から次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTを入力し、これらの行列に基づいて、係数行列Ａを決定する。
【００８９】
具体的には、ブロックハンケル行列生成部２１は、以下の式のように、（ｉ×ｊ）ブロックのブロックハンケル行列Ｈi,jに対し、列方向に１ブロックだけシフトしたブロックハンケル行列Ｈi,j+1を生成する。そして、ブロックハンケル行列生成部２１は、ブロックハンケル行列Ｈi,j+1をシステム行列決定部２４に出力する。
【数２１】
2019050445.tif 000023
【００９０】
特異値分解部２２は、次数ｎの直行行列Ｕn、特異値行列Σn及び直行行列Ｖnの転置行列ＶnTをシステム行列決定部２４に出力する。
【００９１】
システム行列決定部２４は、ブロックハンケル行列生成部２１からブロックハンケル行列Ｈi,j+1を入力すると共に、特異値分解部２２から次数ｎの直行行列Ｕn、特異値行列Σn、及び直行行列Ｖnの転置行列ＶnTを入力する。そして、システム行列決定部２４は、ブロックハンケル行列Ｈi,j+1、直行行列Ｕnの転置行列ＵnT、特異値行列Σn、及び直行行列Ｖnに基づいて、以下の式にて係数行列Ａを決定する。
【数２２】
2019050445.tif 000024
【００９２】
前記式（２２）は、前記式（８）（２１）及び以下の式から導出される。
【数２３】
2019050445.tif 000025
【００９３】
〔制御部１０（係数行列算出部３０）の適用例〕
次に、図７に示した制御部１０である係数行列算出部３０の適用例について説明する。図８は、係数行列算出部３０をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。信号処理装置４０は、係数行列算出部３０及び信号演算部４２を備えている。
【００９４】
係数行列算出部３０は、図７に示した制御部１０に相当し、ｍ入力２出力の音響システムに対応した前記式（４）のＢＲＩＲ行列ｇ（ｋ）を入力し、当該ＢＲＩＲ行列ｇ（ｋ）に基づいて、係数行列Ａ，Ｂ，Ｃを生成する。そして、係数行列算出部３０は、係数行列Ａ，Ｂ，Ｃを信号演算部４２に出力する。
【００９５】
信号演算部４２は、音源９０−１〜９０−ｍを再生するスピーカからｍ個の音源信号を入力すると共に、係数行列算出部３０から係数行列Ａ，Ｂ，Ｃを入力する。そして、信号演算部４２は、ｍ個の音源信号及び係数行列Ａ，Ｂ，Ｃに基づいて、バイノーラル信号の演算を行い、２個の音響信号を生成し、２個の音響信号を聴取者９２の耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【００９６】
図９は、係数行列算出部３０を２ｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。信号処理装置４０’は、係数行列算出部３０’及び信号演算部４２’を備えている。
【００９７】
係数行列算出部３０’は、図７に示した制御部１０に相当し、２ｍ入力２出力の音響システムに対応した前記式（５）のＢＲＩＲ行列ｇ（ｋ）を入力し、当該ＢＲＩＲ行列ｇ（ｋ）に基づいて、係数行列Ａ，Ｂ，Ｃを生成する。そして、係数行列算出部３０’は、係数行列Ａ，Ｂ，Ｃを信号演算部４２’に出力する。
【００９８】
信号演算部４２’は、音源９０−１〜９０−ｍを再生するスピーカからｍ個の音源信号を入力すると共に、係数行列算出部３０’から係数行列Ａ，Ｂ，Ｃを入力する。そして、信号演算部４２’は、ｍ個の音源信号及び係数行列Ａ，Ｂ，Ｃに基づいて、バイノーラル信号の演算を行い、２個の音響信号を生成し、２個の音響信号を聴取者９２の耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【００９９】
図１０は、信号演算部４２，４２’の構成を示すブロック図である。この信号演算部４２，４２’の構成は、図４に示した音響システムの状態空間モデルの構成に対応している。信号演算部４２，４２’は、乗算器５０，５３，５４、加算器５１及び遅延器５２を備えている。
【０１００】
乗算器５０は、入力信号ｕであるｍ，２ｍ個の音源信号を入力し、音源信号に係数行列Ｂを乗算し、乗算結果を加算器５１に出力する。加算器５１は、乗算器５０から乗算結果を入力すると共に、乗算器５３から乗算結果を入力し、両方の乗算結果を加算し、加算結果を遅延器５２に出力する。
【０１０１】
遅延器５２は、加算器５１から加算結果を入力し、加算結果を１サンプル分遅延させ、１サンプル遅延後の加算結果ｘを乗算器５３，５４に出力する。乗算器５３は、遅延器５２から加算結果ｘを入力し、加算結果ｘに係数行列Ａを乗算し、乗算結果を加算器５１に出力する。
【０１０２】
乗算器５４は、遅延器５２から加算結果ｘを入力し、加算結果ｘに係数行列Ｃを乗算し、乗算結果を出力信号ｙである２個の音響信号として出力する。
【０１０３】
以上のように、信号処理装置４０，４０’によれば、音場を状態空間モデルで表した信号演算部４２，４２’を用いるようにしたから、演算は時間領域で行われ、バッファを必要とせず、バイノーラル信号の演算を低遅延で行うことができる。また、音場を状態空間モデルで表すことで、音場をｍ，２ｍ入力２出力の音響システムとみなすことができるから、音場をフィルタで表現した場合のフィルタ次数を抑えることができ、計算コストを下げることができる。したがって、マルチチャンネル音響を、低計算コストかつ低処理遅延にバイノーラル再生することが可能となる。
【０１０４】
〔制御部１０（係数行列算出部３０）の他の構成例〕
次に、制御部１０（係数行列算出部３０）の他の構成例について説明する。以下に説明する第１構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割した場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。第２構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割し、さらに、ＢＲＩＲ行列ｇ（ｋ）のサンプルの間引きを行った場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１０５】
第３構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割して間引きし、さらに、ＢＲＩＲ行列ｇ（ｋ）のむだ時間を分離した場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。第４構成例は、ＢＲＩＲ行列ｇ（ｋ）のむだ時間を分離し、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１０６】
（第１構成例：帯域分割後のＢＲＩＲ行列ｇ（ｋ）にて係数行列Ａ，Ｂ，Ｃを決定）
まず、第１構成例について説明する。前述のとおり、第１構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割した場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１０７】
図１１は、係数行列算出部３０の他の例（第１構成例）を示すブロック図である。この係数行列算出部３０−１は、帯域分割部３１及び係数行列算出部３０を備えている。
【０１０８】
帯域分割部３１は、ＢＲＩＲ行列ｇ（ｋ）を入力し、ＢＲＩＲ行列ｇ（ｋ）に対し、所定のカットオフ周波数にて、ＢＲＩＲ行列ｇ（ｋ）を複数の帯域に分割するための帯域通過フィルタ処理を行う。そして、帯域分割部３１は、帯域通過フィルタ処理後のＢＲＩＲ行列ｇ（ｋ）を係数行列算出部３０に出力する。
【０１０９】
係数行列算出部３０は、帯域分割部３１から帯域通過フィルタ処理後のＢＲＩＲ行列ｇ（ｋ）を入力する。そして、係数行列算出部３０は、帯域通過フィルタ処理後のＢＲＩＲ行列ｇ（ｋ）に基づいて、係数行列算出プログラムの処理にて、係数行列Ａ，Ｂ，Ｃを決定して出力する。
【０１１０】
これにより、係数行列算出部３０−１にて、所定周波数の帯域についての係数行列Ａ，Ｂ，Ｃが決定される。
【０１１１】
図１２は、図１１に示した第１構成例の係数行列算出部３０−１をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。この信号処理装置４０−１は、音源信号の周波数帯域を低域、中域及び高域に３分割する例である。信号処理装置４０−１は、係数行列算出部３０−１ａ，３０−１ｂ，３０−１ｃ、帯域分割部４１−１，４１−２，４１−３、信号演算部４２−１，４２−２，４２−３及び信号合成部４３を備えている。
【０１１２】
帯域分割部４１−１は、図１１に示した帯域分割部３１に対応し、音源９０−１〜９０−ｍを再生するスピーカから音源信号を入力し、音源信号に対し、予め設定された低域のカットオフ周波数にて、帯域を分割するための帯域通過フィルタの処理を行う。そして、帯域分割部４１−１は、低域のカットオフ周波数による帯域通過フィルタ処理後の音響信号を信号演算部４２−１に出力する。
【０１１３】
信号演算部４２−１は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１１に示した係数行列算出部３０−１（係数行列算出部３０−１ａ）により決定された係数行列Ａ，Ｂ，Ｃを入力する。乗算器５０，５３，５４は、図１１に示した帯域分割部３１のカットオフ周波数として、帯域分割部４１−１と同じ低域のカットオフ周波数を用いた場合に得られた係数行列Ｂ，Ａ，Ｃをそれぞれ用いて乗算処理を行う。
【０１１４】
信号演算部４２−１は、帯域分割部４１−１から低域のカットオフ周波数による帯域通過フィルタ処理後の音響信号を入力し、図８に示した信号演算部４２と同じ処理を行い、低域の音響信号を生成して信号合成部４３に出力する。
【０１１５】
帯域分割部４１−２は、図１１に示した帯域分割部３１に対応し、音源９０−１〜９０−ｍを再生するスピーカからからの音源信号を入力し、音源信号に対し、予め設定された中域のカットオフ周波数にて、帯域を分割するための帯域通過フィルタの処理を行う。そして、帯域分割部４１−２は、中域のカットオフ周波数による帯域通過フィルタ処理後の音響信号を信号演算部４２−２に出力する。
【０１１６】
信号演算部４２−２は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１１に示した係数行列算出部３０−１（係数行列算出部３０−１ｂ）により決定された係数行列Ａ，Ｂ，Ｃを入力する。乗算器５０，５３，５４は、図１１に示した帯域分割部３１のカットオフ周波数として、帯域分割部４１−２と同じ中域のカットオフ周波数を用いた場合に得られた係数行列Ｂ，Ａ，Ｃをそれぞれ用いて乗算処理を行う。
【０１１７】
信号演算部４２−２は、帯域分割部４１−２から中域のカットオフ周波数による帯域通過フィルタ処理後の音響信号を入力し、図８に示した信号演算部４２と同じ処理を行い、中域の音響信号を生成して信号合成部４３に出力する。
【０１１８】
帯域分割部４１−３及び信号演算部４２−３は、帯域分割部４１−１，４１−２及び信号演算部４２−１，４２−２に対応する。信号演算部４２−３は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１１に示した係数行列算出部３０−１（係数行列算出部３０−１ｃ）により決定された係数行列Ａ，Ｂ，Ｃを入力する。信号演算部４２−３は、高域の音響信号を生成して信号合成部４３に出力する。
【０１１９】
信号合成部４３は、信号演算部４２−１から低域の音響信号を、信号演算部４２−２から中域の音響信号を、信号演算部４２−３から高域の音響信号をそれぞれ入力する。そして、信号合成部４３は、耳９３−１，９３−２のそれぞれに対応した低域、中域及び高域の音響信号を合成し、合成した音響信号を耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【０１２０】
以上のように、係数行列算出部３０−１によれば、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割した場合の帯域毎に、係数行列Ａ，Ｂ，Ｃを決定するようにした。
【０１２１】
これにより、前述の係数行列算出部３０と同様の効果を奏する。すなわち、音場を帯域毎の状態空間モデルにてモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列を帯域毎に算出することができる。
【０１２２】
一般に、音の性質として、高域の音は、低域に比べ短時間で減衰するため、残響時間が短いことが知られている。このため、高域のＢＲＩＲ行列ｇ（ｋ）を用いる係数行列算出部３０−１ｃは、低域及び中域のＢＲＩＲ行列ｇ（ｋ）を用いる係数行列算出部３０−１ａ，３０−１ｂよりも、低い次数ｎにて係数行列Ａ，Ｂ，Ｃを決定することができる。
【０１２３】
（第２構成例：帯域分割及び間引き後のＢＲＩＲ行列ｇ（ｋ）にて係数行列Ａ，Ｂ，Ｃを決定）
次に、第２構成例について説明する。前述のとおり、第２構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割し、さらに、ＢＲＩＲ行列ｇ（ｋ）のサンプルの間引きを行った場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１２４】
図１３は、係数行列算出部３０の他の例（第２構成例）を示すブロック図である。この係数行列算出部３０−２は、帯域分割部３１、間引き部３２及び係数行列算出部３０を備えている。
【０１２５】
帯域分割部３１は、図１１に示した帯域分割部３１と同じであるから、ここでは説明を省略する。
【０１２６】
間引き部３２は、帯域分割部３１から帯域通過フィルタ処理後のＢＲＩＲ行列ｇ（ｋ）を入力する。そして、間引き部３２は、帯域分割部３１のカットオフ周波数に応じて、帯域通過フィルタ処理後のＢＲＩＲ行列ｇ（ｋ）に対しサンプルの間引き（ダウンサンプリング）を行う。間引き部３２は、間引き後のＢＲＩＲ行列ｇ（ｋ）を係数行列算出部３０に出力する。
【０１２７】
これにより、間引き後のＢＲＩＲ行列ｇ（ｋ）のサンプリング周波数が低い場合、係数行列算出部３０における次数ｎを低く抑えることができる。
【０１２８】
係数行列算出部３０は、間引き部３２から間引き後のＢＲＩＲ行列ｇ（ｋ）を入力し、図７に示した係数行列算出部３０と同じ処理を行う。
【０１２９】
これにより、係数行列算出部３０−２にて、所定周波数の帯域及び間引き後のＢＲＩＲ行列ｇ（ｋ）についての係数行列Ａ，Ｂ，Ｃが決定される。
【０１３０】
図１４は、図１３に示した第２構成例の係数行列算出部３０−２をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。この信号処理装置４０−２は、音源信号の周波数帯域を低域、中域及び高域に３分割し、低域及び中域について間引きする例である。信号処理装置４０−２は、係数行列算出部３０−２ａ，３０−２ｂ，３０−２ｃ、帯域分割部４１−１，４１−２，４１−３、間引き部４４−１，４４−２、信号演算部４２−１，４２−２，４２−３、補間部４５−１，４５−２、ＬＰＦ（ローパスフィルタ）４６−１、ＢＰＦ（バンドパスフィルタ）４６−２及び信号合成部４３を備えている。
【０１３１】
帯域分割部４１−１，４１−２，４１−３は、図１２に示した帯域分割部４１−１，４１−２，４１−３と同じであるから、ここでは説明を省略する。
【０１３２】
間引き部４４−１は、図１３に示した間引き部３２に対応し、帯域分割部４１−１から低域のカットオフ周波数による帯域通過フィルタ処理後の音響信号を入力する。そして、間引き部４４−１は、帯域分割部４１−１の低域のカットオフ周波数に応じて、図１３に示した間引き部３２と同様に、帯域通過フィルタ処理後の音響信号に対しサンプルの間引きを行う。そして、間引き部４４−１は、間引き後の音響信号を信号演算部４２−１に出力する。
【０１３３】
信号演算部４２−１は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１３に示した係数行列算出部３０−２（係数行列算出部３０−２ａ）により決定された係数行列Ａ，Ｂ，Ｃを入力する。
【０１３４】
信号演算部４２−１は、間引き部４４−１から低域かつ間引き後の音響信号を入力し、図８に示した信号演算部４２と同じ処理を行い、低域かつ間引き後の音響信号を生成して補間部４５−１に出力する。
【０１３５】
補間部４５−１は、信号演算部４２−１から低域かつ間引き後の音響信号を入力し、音響信号に対し、間引き部４４−１による間引きとは逆の処理である補間（アップサンプリング）を行う。そして、補間部４５−１は、補間後の音響信号をＬＰＦ４６−１に出力する。これにより、元のサンプリング周波数に戻すことができる。
【０１３６】
ＬＰＦ４６−１は、補間部４５−１から補間後の音響信号を入力し、補間後の音響信号に対し、帯域分割部４１−１と同じ低域のカットオフ周波数のＬＰＦ処理を施し、ＬＰＦ処理後の音響信号を信号合成部４３に出力する。
【０１３７】
これにより、補間処理により生じる折り返し歪は、帯域分割部４１−１と同じカットオフ周波数を用いる帯域通過フィルタのＬＰＦ処理により削除することができる。
【０１３８】
帯域分割部４１−２、間引き部４４−２、信号演算部４２−２、係数行列算出部３０−２ｂ及び補間部４５−２は、帯域分割部４１−１、間引き部４４−１、信号演算部４２−１、係数行列算出部３０−２ａ及び補間部４５−１に対応し、中域の音響信号を対象として同じ処理を行う。
【０１３９】
ＢＰＦ４６−２は、補間部４５−２から補間後の音響信号を入力し、補間後の音響信号に対し、帯域分割部４１−２と同じ中域のカットオフ周波数のＢＰＦ処理を施し、ＢＰＦ処理後の音響信号を信号合成部４３に出力する。
【０１４０】
尚、間引き部４４−１，４４−２により異なるサンプリング周波数でサンプリングされた音響信号同士で同期及び再生が可能な場合は、補間部４５−１，４５−２、ＬＰＦ４６−１及びＢＰＦ４６−２は不要である。
【０１４１】
帯域分割部４１−３、信号演算部４２−３及び係数行列算出部３０−２ｃは、図１２に示した帯域分割部４１−３、信号演算部４２−３及び係数行列算出部３０−１ｃと同じであるから、ここでは説明を省略する。高域の音響信号に対して間引き処理は行われず、補間及びＬＰＦ処理も行われない。これは、前述のとおり、高域については、音の残響時間が短いため、低い次数ｎにて係数行列Ａ，Ｂ，Ｃを決定することができるからである。
【０１４２】
信号合成部４３は、ＬＰＦ４６−１から低域の音響信号を、ＢＰＦ４６−２から中域の音響信号を、信号演算部４２−３から高域の音響信号をそれぞれ入力する。そして、信号合成部４３は、耳９３−１，９３−２のそれぞれに対応した低域及び中域の音響信号に対し、間引き及び補間処理によって減少したゲインを増幅させる。信号合成部４３は、耳９３−１，９３−２のそれぞれに対応した増幅後の低域及び中域の音響信号と、耳９３−１，９３−２のそれぞれに対応した高域の音響信号とを加算して合成し、合成した音響信号を耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【０１４３】
具体的には、信号合成部４３は、増幅器及び加算器を備えている。増幅器は、ＬＰＦ４６−１から低域の音響信号を入力すると共に、ＢＰＦ４６−２から中域の音響信号を入力し、これらの信号のゲインを増幅させる。そして、増幅器は、増幅後の低域の音響信号及び中域の音響信号を加算器に出力する。加算器は、増幅器から増幅後の低域の音響信号及び中域の音響信号を入力すると共に、信号演算部４２−３から高域の音響信号を入力する。そして、加算器は、耳９３−１，９３−２のそれぞれに対応した低域、中域及び高域の音響信号を加算して合成し、合成した音響信号を耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【０１４４】
ここで、間引き部４４−１，４４−２の間引き係数をそれぞれ１／Ｍ１，１／Ｍ２、補間部４５−１，４５−２の補間係数をそれぞれＭ１，Ｍ２とする。Ｍ１，Ｍ２は正の整数であり、異なる値であってもよいし、同じ値であってもよい。信号合成部４３の増幅器は、入力した低域の音響信号をＭ１2倍すると共に、入力した中域の音響信号をＭ１2倍することで、ゲインを増幅させる。例えば、間引き係数を１／２、補間係数を２とすると、増幅器は、入力した音響信号を４倍する。
【０１４５】
尚、前述の例では、信号合成部４３は、低域の音響信号をＭ１2倍し、中域の音響信号をＭ２2倍する増幅器を備えるようにした。これに対し、増幅器は、信号合成部４３に備える代わりに、図１４において、帯域分割部４１−１，４１−２から信号合成部４３までの間に備えるようにしてもよい。例えば、増幅器は、帯域分割部４１−１，４１−２と間引き部４４−１，４４−２との間に備えるようにしてもよいし、補間部４５−１，４５−２とＬＰＦ４６−１及びＢＰＦ４６−２との間に備えるようにしてもよい。
【０１４６】
また、複数の増幅器を用意し、増幅器のそれぞれが、低域の音響信号及び中域の音響信号を増幅するようにしてもよい。例えば、２つの増幅器（第１の増幅器及び第２の増幅器）を用意した場合、第１の増幅器及び第２の増幅器のそれぞれが、低域の音響信号をＭ１倍に増幅し、中域の音響信号をＭ２倍に増幅する。第１の増幅器は、例えば帯域分割部４１−１，４１−２と間引き部４４−１，４４−２との間に備え、第２の増幅器は、例えば信号合成部４３の内部（加算器の前段）に備えるようにする。この場合、低域の音響信号は、第１の増幅器により帯域分割後にＭ１倍され、第２の増幅器により信号合成部４３において加算前にＭ１倍される。また、中域の音響信号は、第１の増幅器により帯域分割後にＭ２倍され、第２の増幅器により信号合成部４３において加算前にＭ２倍される。
【０１４７】
以上のように、係数行列算出部３０−２によれば、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割し間引きした場合の帯域毎に、係数行列Ａ，Ｂ，Ｃを決定するようにした。
【０１４８】
これにより、前述の係数行列算出部３０と同様の効果を奏する。すなわち、間引きした信号の帯域毎の音場を状態空間モデルにてモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列Ａ，Ｂ，Ｃを、間引きした信号の帯域毎に算出することができる。
【０１４９】
また、低域及び中域のＢＲＩＲ行列ｇ（ｋ）を用いる係数行列算出部３０−２ａ，３０−２ｂは、間引き後のＢＲＩＲ行列ｇ（ｋ）に基づいて、係数行列Ａ，Ｂ，Ｃを決定する。この場合、間引き後のＢＲＩＲ行列ｇ（ｋ）は、短い応答長で表現することができるため、係数行列算出部３０−２ａ，３０−２ｂは、間引きされていないＢＲＩＲ行列ｇ（ｋ）を用いる場合に比べ、低い次数ｎにて係数行列Ａ，Ｂ，Ｃを決定することができる。
【０１５０】
（第３構成例：帯域分割、間引き及びむだ時間分離後のＢＲＩＲ行列ｇ（ｋ）にて係数行列Ａ，Ｂ，Ｃを決定）
次に、第３構成例について説明する。前述のとおり、第３構成例は、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割して間引きし、さらに、ＢＲＩＲ行列ｇ（ｋ）のむだ時間を分離した場合の帯域毎に、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１５１】
図１５は、係数行列算出部３０の他の例（第３構成例）を示すブロック図である。この係数行列算出部３０−３は、帯域分割部３１、間引き部３２、むだ時間分離部３３及び係数行列算出部３０を備えている。
【０１５２】
帯域分割部３１は、図１１に示した帯域分割部３１と同じであり、間引き部３２は、図１３に示した間引き部３２と同じであるから、ここでは説明を省略する。
【０１５３】
むだ時間分離部３３は、間引き後のＢＲＩＲ行列ｇ（ｋ）を入力し、ＢＲＩＲ行列ｇ（ｋ）のピーク位置を求め、ＢＲＩＲ行列ｇ（ｋ）の所定の開始時間からピーク位置までの時間をむだ時間として求め、ＢＲＩＲ行列ｇ（ｋ）からむだ時間を分離する。そして、むだ時間分離部３３は、むだ時間を分離したＢＲＩＲ行列ｇ（ｋ）を係数行列算出部３０に出力する。
【０１５４】
尚、むだ時間分離部３３は、入力したＢＲＩＲ行列ｇ（ｋ）が閾値以上の非０の値となる位置を求め、ＢＲＩＲ行列ｇ（ｋ）の所定の開始時間からピーク位置までの時間をむだ時間として求めるようにしてもよい。
【０１５５】
係数行列算出部３０は、むだ時間分離部３３からむだ時間が分離されたＢＲＩＲ行列ｇ（ｋ）を入力し、図７に示した係数行列算出部３０と同じ処理を行う。
【０１５６】
これにより、係数行列算出部３０−３にて、所定周波数の帯域、間引き及びむだ時間分離後のＢＲＩＲ行列ｇ（ｋ）についての係数行列Ａ，Ｂ，Ｃが決定される。
【０１５７】
図１６は、図１５に示した第３構成例の係数行列算出部３０−３をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。この信号処理装置４０−３は、音源信号の周波数帯域を低域、中域及び高域に３分割し、低域及び中域について間引きし、低域、中域及び高域について遅延時間を補償する例である。信号処理装置４０−３は、係数行列算出部３０−３ａ，３０−３ｂ，３０−３ｃ、帯域分割部４１−１，４１−２，４１−３、間引き部４４−１，４４−２、遅延時間補償部４７−１，４７−２，４７−３、信号演算部４２−１，４２−２，４２−３、補間部４５−１，４５−２、ＬＰＦ４６−１、ＢＰＦ４６−２及び信号合成部４３を備えている。
【０１５８】
帯域分割部４１−１，４１−２，４１−３は、図１２に示した帯域分割部４１−１，４１−２，４１−３と同じであり、間引き部４４−１，４４−２は、図１４に示した間引き部４４−１，４４−２と同じであるから、ここでは説明を省略する。
【０１５９】
遅延時間補償部４７−１は、図１５に示したむだ時間分離部３３に対応し、間引き部４４−１から間引き後の音響信号を入力すると共に、図１５に示した係数行列算出部３０−３（係数行列算出部３０−３ａ）のむだ時間分離部３３からむだ時間を入力する。そして、遅延時間補償部４７−１は、間引き後の音響信号に対し、むだ時間と同じ時間を遅延時間として遅延させる。そして、遅延時間補償部４７−１は、遅延時間を補償した音響信号を信号演算部４２−１に出力する。
【０１６０】
信号演算部４２−１は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１５に示した係数行列算出部３０−３（係数行列算出部３０−３ａ）により決定された係数行列Ａ，Ｂ，Ｃを入力する。
【０１６１】
信号演算部４２−１は、遅延時間補償部４７−１から遅延時間が補償された音響信号を入力し、図８に示した信号演算部４２と同じ処理を行い、低域、間引き及び遅延時間補償後の音響信号を生成して補間部４５−１に出力する。
【０１６２】
補間部４５−１及びＬＰＦ４６−１は、図１４に示した補間部４５−１及びＬＰＦ４６−１と同じであるから、ここでは説明を省略する。
【０１６３】
帯域分割部４１−２、間引き部４４−２、遅延時間補償部４７−２、信号演算部４２−２、係数行列算出部３０−３ｂ及び補間部４５−２は、帯域分割部４１−１、間引き部４４−１、遅延時間補償部４７−１、信号演算部４２−１、係数行列算出部３０−３ａ及び補間部４５−１に対応し、中域の音響信号を対象として同じ処理を行う。ＢＰＦ４６−２は、図１４に示したＢＰＦ４６−２と同じであるから、ここでは説明を省略する。
【０１６４】
帯域分割部４１−３及び信号演算部４２−３は、図１２に示した帯域分割部４１−３及び信号演算部４２−３と同じであるから、ここでは説明を省略する。また、遅延時間補償部４７−３は、遅延時間補償部４７−１，４７−２に対応する。
【０１６５】
係数行列算出部３０−３ｃは、図１１に示した係数行列算出部３０−１の構成に加え、帯域分割部３１と係数行列算出部３０との間に、図１５に示したむだ時間分離部３３を備えている。帯域分割部３１及び係数行列算出部３０は、図１１に示した帯域分割部３１及び係数行列算出部３０と同じであり、むだ時間分離部３３は、図１５に示したむだ時間分離部３３と同じであるから、ここでは説明を省略する。
【０１６６】
このように、高域の音響信号に対して間引き処理は行われず、遅延時間補償処理が行われ、補間及びＬＰＦ処理は行われない。
【０１６７】
信号合成部４３は、図１４に示した信号合成部４３と同じであるから、ここでは説明を省略する。
【０１６８】
以上のように、係数行列算出部３０−３によれば、ＢＲＩＲ行列ｇ（ｋ）を複数の周波数帯域に分割し間引きし、さらにむだ時間を分離した場合の帯域毎に、係数行列Ａ，Ｂ，Ｃを決定するようにした。
【０１６９】
これにより、前述の係数行列算出部３０と同様の効果を奏する。すなわち、間引きしむだ時間を分離した信号の帯域毎の音場を状態空間モデルにてモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列Ａ，Ｂ，Ｃを、間引きしむだ時間を分離した信号の帯域毎に算出することができる。
【０１７０】
一般に、ＢＲＩＲ行列ｇ（ｋ）を構成する各要素であるＢＲＩＲには、音源９０−１〜９０−ｍを再生するスピーカから耳９３−１，９３−２へ音波が到達するまでのむだ時間が含まれる。このむだ時間の存在により、状態空間モデルのモデリングの精度である係数行列Ａ，Ｂ，Ｃの精度が低下する可能性がある。むだ時間分離部３３によりＢＲＩＲ行列ｇ（ｋ）からむだ時間が分離され、係数行列算出部３０は、むだ時間を含まないＢＲＩＲ行列ｇ（ｋ）を用いるようにしたから、精度の高い係数行列Ａ，Ｂ，Ｃを算出することができる。
【０１７１】
（第４構成例：むだ時間分離後のＢＲＩＲ行列ｇ（ｋ）にて係数行列Ａ，Ｂ，Ｃを決定）
次に、第４構成例について説明する。前述のとおり、第４構成例は、ＢＲＩＲ行列ｇ（ｋ）のむだ時間を分離し、係数行列算出プログラムの処理にて係数行列Ａ，Ｂ，Ｃを決定する例である。
【０１７２】
図１７は、係数行列算出部３０の他の例（第４構成例）を示すブロック図である。この係数行列算出部３０−４は、むだ時間分離部３３及び係数行列算出部３０を備えている。
【０１７３】
むだ時間分離部３３は、図１５に示したむだ時間分離部３３と同じ処理を行い、むだ時間を分離したＢＲＩＲ行列ｇ（ｋ）を係数行列算出部３０に出力する。
【０１７４】
係数行列算出部３０は、むだ時間分離部３３から遅延時間が分離されたＢＲＩＲ行列ｇ（ｋ）を入力し、図７に示した係数行列算出部３０と同じ処理を行う。
【０１７５】
これにより、係数行列算出部３０−４にて、むだ時間分離後のＢＲＩＲ行列ｇ（ｋ）についての係数行列Ａ，Ｂ，Ｃが決定される。
【０１７６】
図１８は、図１７に示した第４構成例の係数行列算出部３０−４をｍ入力２出力の音響システムに適用した場合の例を説明するブロック図である。この信号処理装置４０−４は、音源信号の遅延時間を補償する例である。信号処理装置４０−４は、係数行列算出部３０−４、遅延時間補償部４７及び信号演算部４２を備えている。
【０１７７】
遅延時間補償部４７は、図１７に示したむだ時間分離部３３に対応し、音源９０−１〜９０−ｍを再生するスピーカから音源信号を入力すると共に、むだ時間分離部３３からむだ時間を入力する。そして、遅延時間補償部４７は、図１６に示した遅延時間補償部４７−１，４７−２と同様に、音響信号に対し、むだ時間分離部３３から入力したむだ時間と同じ時間を遅延時間として遅延させる。そして、遅延時間補償部４７は、遅延時間を補償した音響信号を信号演算部４２に出力する。
【０１７８】
信号演算部４２は、図１０に示したとおり、乗算器５０，５３，５４、加算器５１及び遅延器５２を備え、図１７に示した係数行列算出部３０−４により決定された係数行列Ａ，Ｂ，Ｃを入力する。
【０１７９】
信号演算部４２は、遅延時間補償部４７から遅延時間が補償された音響信号を入力し、図８に示した信号演算部４２と同じ処理を行い、遅延時間補償後の音響信号を生成し、音響信号を耳９３−１，９３−２に取り付けたヘッドホン９６へ出力する。
【０１８０】
以上のように、係数行列算出部３０−４によれば、ＢＲＩＲ行列ｇ（ｋ）からむだ時間を分離し、係数行列Ａ，Ｂ，Ｃを決定するようにした。
【０１８１】
これにより、前述の係数行列算出部３０と同様の効果を奏する。すなわち、むだ時間を分離した音場を状態空間モデルにてモデリングすることで、マルチチャンネル音響を低計算コストかつ低処理遅延にバイノーラル再生可能な係数行列を算出することができる。
【０１８２】
尚、図１２の信号処理装置４０−１、図１４の信号処理装置４０−２、図１６の信号処理装置４０−３及び図１８の信号処理装置４０−４は、ｍ入力２出力の音響システムを想定して構成されている。信号処理装置４０−１等は、２ｍ入力２出力の音響システムを想定した場合も同様の処理を行う。この場合、係数行列算出部３０−１〜３０−４も同様である。
【０１８３】
また、図８及び図９の信号処理装置４０，４０’は、係数行列算出部３０，３０’をそれぞれ備えている。図１２の信号処理装置４０−１は、係数行列算出部３０−１ａ，３０−１ｂ，３０−１ｃを備え、図１４の信号処理装置４０−２は、係数行列算出部３０−２ａ，３０−２ｂ，３０−２ｃを備えている。図１６の信号処理装置４０−３は、係数行列算出部３０−３ａ，３０−３ｂ，３０−３ｃを備え、図１８の信号処理装置４０−４は、係数行列算出部３０−４を備えている。
【０１８４】
これに対し、信号処理装置４０，４０’４０−１等は、係数行列算出部３０，３０’，３０−１ａ，３０−１ｂ，３０−１ｃ等を備えることなく、外部の係数行列算出部３０，３０’，３０−１ａ，３０−１ｂ，３０−１ｃ等に相当する係数行列算出装置から係数行列Ａ，Ｂ，Ｃを入力するようにしてもよい。
【０１８５】
図８及び図９の信号処理装置４０，４０’、図１２の信号処理装置４０−１、図１４の信号処理装置４０−２、図１６の信号処理装置４０−３及び図１８の信号処理装置４０−４のハードウェア構成は、図５に示した係数行列算出装置１と同様に、通常のコンピュータを使用することができる。信号処理装置４０，４０’，４０−１〜４０−４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインタフェース等を備えたコンピュータによって構成される。信号処理装置４０，４０’，４０−１〜４０−４に備えた構成部の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１８６】
１  係数行列算出装置
１０  制御部
１１  ＣＰＵ
１２  記憶部
１３  記憶装置
１４  操作／入力部
１５  表示出力インタフェース部
１６  通信部
１７  システムバス
２０  次数決定部
２１  ブロックハンケル行列生成部
２２  特異値分解部
２３  入出力行列決定部
２４  システム行列決定部
３０，３０’  係数行列算出部
３１，４１  帯域分割部
３２，４４  間引き部
３３  むだ時間分離部
４０，４０’  信号処理装置
４２，４２’  信号演算部
４３，９５  信号合成部
４５  補間部
４６−１  ＬＰＦ（ローパスフィルタ）
４６−２  ＢＰＦ（バンドパスフィルタ）
４７  遅延時間補償部
５０，５３，５４  乗算器
５１  加算器
５２  遅延器
９０  音源
９１  フィルタ
９２  聴取者
９３  耳
９４  スピーカ
９６  ヘッドホン
【図１】
2019050445.tif 000026
【図２】
2019050445.tif 000027
【図３】
2019050445.tif 000028
【図４】
2019050445.tif 000029
【図５】
2019050445.tif 000030
【図６】
2019050445.tif 000031
【図７】
2019050445.tif 000032
【図８】
2019050445.tif 000033
【図９】
2019050445.tif 000034
【図１０】
2019050445.tif 000035
【図１１】
2019050445.tif 000036
【図１２】
2019050445.tif 000037
【図１３】
2019050445.tif 000038
【図１４】
2019050445.tif 000039
【図１５】
2019050445.tif 000040
【図１６】
2019050445.tif 000041
【図１７】
2019050445.tif 000042
【図１８】
2019050445.tif 000043
【図１９】
2019050445.tif 000044