(57)【要約】【課題】ステアリングベクトルの演算量を低減することができる音源定位装置、音源定位方法、およびプログラムを提供することを目的とする。【解決手段】音源定位装置は、２つ以上のマイクロホンを有する収音部と、マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化したステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行う音源定位部、を備える。【選択図】図１
2020150490.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のマイクロホンを有する収音部と、
前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行う音源定位部、
を備える音源定位装置。
【請求項２】
Ｍは前記マイクロホンの数であり、ｍ（１からＭの間の整数）は前記マイクロホンが何番目かを表し、θｋ（ｋは１からＫの整数）は離散化した方向を表し、ｅｘｐ（ｉｎθｋ）は角度θに対するｎ次のフーリエ基底関数であり、Ｃｎｍはフーリエ係数であり、
前記フーリエ基底関数を記憶する記憶部、を備え、
前記音源定位部は、
ビームフォーミング法で音源定位を行い、
前記ステアリングベクトルにおけるステアリング係数Ｇｍ（θｋ）を次式で計算する、
【数１】
2020150490.tif 000035
請求項１に記載の音源定位装置。
【請求項３】
前記音源定位部は、
ビームフォーミング出力Ｙを、Ｋ行（２Ｎ＋１）列の前記フーリエ基底関数の行列に、（２Ｎ＋１）行Ｍ列の前記フーリエ係数の行列を乗じることで算出する、請求項２に記載の音源定位装置。
【請求項４】
前記音源定位部は、
（Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択する、請求項２または請求項３に記載の音源定位装置。
【請求項５】
ｘはｅｘｐ（ｉｎθ）であり、ｆ（ｘ）は、ｄ｜Ｙ（θ）｜２／ｄθであり、Ｙ（θ）はビームフォーミング出力であり、βは係数であり、
前記音源定位部は、次式
【数２】
2020150490.tif 000036
を解くことで、ビームフォーミング出力Ｙ（θ）が最大となる角度θを求めることで音源定位を行う、請求項２から請求項４のいずれか１項に記載の音源定位装置。
【請求項６】
２つ以上のマイクロホンを有する収音部を有する音源定位装置における音源定位方法であって、
音源定位部が、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行う手順、
を含む音源定位方法。
【請求項７】
２つ以上のマイクロホンを有する収音部を有する音源定位装置のコンピュータに、
前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行うステップ、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源定位装置、音源定位方法、およびプログラムに関する。
【背景技術】
【０００２】
音声認識では、例えば複数のマイクロホンで構成されるマイクロホンアレイによって音響信号を収音し、収音した音響信号に対して音源定位や音源分離を行う。ここで、音源定位とは、音源の位置を推定する処理である。音源分離とは、複数の音源から各音源の信号を抽出する処理である。そして、音声認識では、音源定位されたデータと音源分離されたデータから特徴量を抽出し、抽出した特徴量に基づいて音声認識を行う。また、マイクロホンアレイを用いる場合、ビームフォーミング法を用いて指定角度での各マイクへの音声到達時間のずれを計算して補正し、各マイクに入力される音響信号の位相差を揃えて和とることで音響ビームを形成する。そして、このビームを空間的にスキャンさせることにより音源位置を推定する。このような音源定位処理では、ステアリングベクトルを計算して、計算したステアリングベクトルを用いて処理を行う（例えば、特許文献１参照）。
【０００３】
また、ステアリングベクトルは、ＭＵＳＩＣ（ＭＵｌｔｉｐｌｅ  ＳＩｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法による音源定位においても用いられ、伝達関数に基づく音源分離用にも用いられる。ここで、ステアリングベクトルとは、例えばビームフォーミング法では、伝達関数の位相を反転した係数ベクトルである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５４５３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビームフォーミング法やＭＵＳＩＣ法を用いて音源定位を行う場合は、離散化した角度毎のステアリングベクトル（ステアリングベクトルデータベース）をあらかじめ用意する必要がある。しかしながら、従来技術では、この離散的した角度毎のステアリングベクトルの演算量が多く、演算に時間を要していた。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであって、ステアリングベクトルの演算量を低減することができる音源定位装置、音源定位方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）上記目的を達成するため、本発明の一態様に係る音源定位装置（音処理装置１）は、２つ以上のマイクロホン（２１）を有する収音部（２）と、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行う音源定位部（１０２）、を備える。
【０００８】
（２）また、本発明の一態様に係る音源定位装置において、Ｍは前記マイクロホンの数であり、ｍ（１からＭの間の整数）は前記マイクロホンが何番目かを表し、θｋ（ｋは１からＫの整数）は離散化した方向を表し、ｅｘｐ（ｉｎθｋ）は角度θに対するｎ次のフーリエ基底関数であり、Ｃｎｍはフーリエ係数であり、前記フーリエ基底関数を記憶する記憶部（テーブル記憶部１０２２）、を備え、前記音源定位部は、ビームフォーミング法で音源定位を行い、前記ステアリングベクトルにおけるステアリング係数Ｇｍ（θｋ）を次式で計算する、
【数１】
2020150490.tif 000003
ようにしてもよい。
【０００９】
（３）また、本発明の一態様に係る音源定位装置において、前記音源定位部は、ビームフォーミング出力Ｙを、Ｋ行（２Ｎ＋１）列の前記フーリエ基底関数の行列に、（２Ｎ＋１）行Ｍ列の前記フーリエ係数の行列を乗じることで算出するようにしてもよい。
【００１０】
（４）また、本発明の一態様に係る音源定位装置において、前記音源定位部は、（Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択するようにしてもよい。
【００１１】
（５）また、本発明の一態様に係る音源定位装置において、ｘはｅｘｐ（ｉｎθ）であり、ｆ（ｘ）は、ｄ｜Ｙ（θ）｜２／ｄθであり、Ｙ（θ）はビームフォーミング出力であり、βは係数であり、前記音源定位部は、次式
【数２】
2020150490.tif 000004
を解くことで、ビームフォーミング出力Ｙ（θ）が最大となる角度θを求めることで音源定位を行うようにしてもよい。
【００１２】
（６）上記目的を達成するため、本発明の一態様に係る音源定位方法は、２つ以上のマイクロホンを有する収音部を有する音源定位装置における音源定位方法であって、音源定位部が、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行う手順、を含む。
【００１３】
（７）上記目的を達成するため、本発明の一態様に係るプログラムは、２つ以上のマイクロホンを有する収音部を有する音源定位装置のコンピュータに、前記マイクロホンそれぞれが收音した音信号を周波数領域に変換し、変換した周波数領域の音信号に対して、前記マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化して、モデル化した前記ステアリングベクトルを用いて任意の角度のステアリングベクトルを算出し、算出した任意の角度のステアリングベクトルを用いて音源の定位を行うステップ、を実行させる。
【発明の効果】
【００１４】
上述した（１）または（６）あるいは（７）によれば、マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化したので、ステアリングベクトルの演算量を低減することができる。また、（１）または（６）あるいは（７）によれば、任意の角度のステアリングベクトルを計算することができる。
【００１５】
また、上述した（２）、（３）によれば、上述した式を用いてステアリングベクトル係数を計算することで、ステアリングベクトルの演算量を低減することができる。
また、上述した（４）によれば、（Ｍ＋Ｋ）（２Ｎ＋１）が（Ｍ×Ｋ）未満のＮを選択するため、ステアリングベクトルの演算量を従来より低減することができる。
また、上述した（５）によれば、角度θを離散化せずに直接出力が最大となるθを多項式の解として求められることができる。また、上述した（５）によれば、Ｎが小さいときには比較的早く計算でき誤差も小さい。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る音処理装置の構成例を示すブロック図である。
【図２】従来技術におけるビームフォーミングにおける演算回数を説明するための図である。
【図３】従来技術の演算回数例を示す図である。
【図４】複素フーリエモデル次数Ｎが５次の場合の本実施形態に係る演算回数例を示す図である。
【図５】複素フーリエモデル次数Ｎが１０次の場合の本実施形態に係る演算回数例を示す図である。
【図６】複素フーリエモデル次数Ｎが２０次の場合の本実施形態に係る演算回数例を示す図である。
【図７】複素フーリエモデル次数Ｎが４０次の場合の本実施形態に係る演算回数例を示す図である。
【図８】本実施形態に係るマイクロホン数Ｍが８個の場合の演算回数を示す図である。
【図９】本実施形態に係るマイクロホン数Ｍが３２個の場合の演算回数を示す図である。
【図１０】本実施形態に係るマイクロホン数Ｍが１２８個の場合の演算回数を示す図である。
【図１１】本実施形態に係る音処理装置１の処理のフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１８】
［音処理装置１］
図１は、本実施形態に係る音処理装置１の構成例を示すブロック図である。図１に示すように、音処理装置１は、取得部１０１、音源定位部１０２、ステアリングベクトル記憶部１０３、音源分離部１０４、発話区間検出部１０５、特徴量抽出部１０６、音響モデル記憶部１０７、音源同定部１０８、および認識結果出力部１０９を備える。音源定位部１０２は、ステアリングベクトル算出部１０２１、およびテーブル記憶部１０２２を備える。
また、音処理装置１には、収音部２が有線または無線で接続されている。
【００１９】
収音部２は、Ｍ（Ｍは２以上の整数）個のマイクロホン２１（２１（１）、・・・２１（Ｍ））から構成されるマイクロホンアレイである。収音部２は、音源が発した音響信号を収音し、収音したＭチャネルの音響信号を取得部１０１に出力する。なお、以下の説明において、Ｍ個のマイクロホンのうち１つを特定しない場合は、単にマイクロホン２１という。
【００２０】
取得部１０１は、収音部２が出力するＭチャネルのアナログの音響信号を取得し、取得したアナログの音響信号を短区間フーリエ変換によって周波数領域に変換する。なお、収音部２の複数のマイクロホンそれぞれが出力する複数の音響信号は、同じサンプリング周波数の信号を用いてサンプリングが行われる。取得部１０１は、デジタルに変換したＭチャネルの音響信号を音源定位部１０２と音源分離部１０４に出力する。
【００２１】
音源定位部１０２は、収音部２が出力するＭチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム（例えば、２０ｍｓ）毎に定める（音源定位）。音源定位部１０２のステアリングベクトル算出部１０２１は、テーブル記憶部１０２２が記憶するテーブルを用いて、例えばビームフォーミング（ＢＦ：Ｂｅａｍ  Ｆｏｒｍｉｎｇ）法を用いて任意の角度のステアリングベクトルを算出する。なお、ステアリングベクトルは、方向毎のパワーを示す。なお、ステアリングベクトルの算出方法については後述する。ステアリングベクトル算出部１０２１は、算出したステアリングベクトルをステアリングベクトル記憶部１０３に記憶させる。音源定位部１０２は、算出したステアリングベクトルに基づいて音源毎の音源方向を定める。音源定位部１０２は、音源方向を示す音源方向情報を音源分離部１０４と、発話区間検出部１０５に出力する。なお、テーブル記憶部１０２２が記憶する情報については後述する。
【００２２】
ステアリングベクトル記憶部１０３は、ステアリングベクトルを記憶する。ステアリングベクトル記憶部１０３は、例えば１５度間隔で、音源を移動させたときの、マイクロホン２１毎かつ音源の角度毎のステアリングベクトルを記憶する。記憶するステアリングベクトルは、後述するようにＮ次の複素フーリエ係数でモデル化したものである。
【００２３】
音源分離部１０４は、音源定位部１０２が出力する音源方向情報と、収音部２が出力するＭチャネルの音響信号を取得する。音源分離部１０４は、Ｍチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部１０４は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ−ｃｏｎｓｔｒａｉｎｅｄ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部１０４は、分離した音響信号のスペクトルを求めて発話区間検出部１０５に出力する。
【００２４】
発話区間検出部１０５は、音源定位部１０２が出力する音源方向情報と、音源分離部１０４が出力する音響信号のスペクトルを取得する。発話区間検出部１０５は、取得した分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。例えば、発話区間検出部１０５は、ステアリングスペクトルに対して閾値処理を行うことで、音源検出と発話区間検出を同時に行う。発話区間検出部１０５は、検出した検出結果と方向情報と音響信号のスペクトルとを特徴量抽出部１０６に出力する。
【００２５】
特徴量抽出部１０６は、発話区間検出部１０５が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。特徴量抽出部１０６は、例えば、静的メル尺度対数スペクトル（ＭＳＬＳ：Ｍｅｌ−Ｓｃａｌｅ  Ｌｏｇ  Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーを、所定時間（例えば、１０ｍｓ）毎に算出することで音響特徴量を算出する。なお、ＭＳＬＳは、音響認識の特徴量としてスペクトル特徴量を用い、ＭＦＣＣ（メル周波数ケプストラム係数；Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を逆離散コサイン変換することによって得られる。特徴量抽出部１０６は、求めた音響特徴量を音源同定部１０８に出力する。
【００２６】
音響モデル記憶部１０７は、音源モデルを格納する。音源モデルは、収音された音響信号を音源同定部１０８が同定するために用いるモデルである。音響モデル記憶部１０７は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に格納する。
【００２７】
音源同定部１０８は、特徴量抽出部１０６が出力する音響特徴量を、音響モデル記憶部１０７が格納する音響モデルを参照して音源を同定する。音源同定部１０８は、同定した同定結果を認識結果出力部１０９に出力する。
【００２８】
認識結果出力部１０９は、例えば画像表示部であり、音源同定部１０８が出力する同定結果を表示する。
【００２９】
［一般的なビームフォーミング法による処理］
次に、ビームフォーミング法による処理例の概要を説明する。図２は、従来技術におけるビームフォーミングにおける演算回数を説明するための図である。なお、図２では、添え字を一部省略している。
取得部１０１が周波数領域に変換した観測信号Ｘｍは、次式（１）のように表される。
【００３０】
【数３】
2020150490.tif 000005
【００３１】
式（１）において、Ｆ［・］は短区間フーリエ変換を表す。ｘｍ（ｔ、ｉ）は、ｍ番目のマイクロホン２１で観測された信号を表し、ｔは時間であり、ｉはフーリエ変換の区間を表すインデックスである。また、Ｘｍ（ω、ｉ）は、ｘｍ（ｔ、ｉ）の短区間フーリエ係数であり、ωは周波数である。Ｍ個のマイクロホンで観測した場合は、観測されたデータの短区間フーリエ係数を並べて、次式（２）のように観測ベクトルを定義する。
【００３２】
【数４】
2020150490.tif 000006
【００３３】
式（２）において、Ｔは行列／ベクトルの転置を表す。
水平方向一次元における音源定位の場合のビームフォーミング法では、離散化した角度をθｋ（ｋ＝１，２，３，…，Ｋ）毎に、ビームフォーミングの出力値Ｙｋを次式（３）で計算する。なお、以下の説明では、インデックスｉを省略して説明する。
【００３４】
【数５】
2020150490.tif 000007
【００３５】
式（３）において、Ｇｍ（θｋ、ω）はｍ番目のマイクロホン２１（ｍ）のステアリング係数（ビームフォーミング係数）である。なお、ステアリング係数とは、ステアリングベクトルの係数である。また、ステアリングベクトルとは、マイクロホンに対し角度θｋをなす方向の離散周波数の位相応答を、各マイクロホンに対して並べた列ベクトルである。
【００３６】
ビームフォーミングの出力値Ｙｋは、次式（４）の入力ベクトルｘと、次式（５）のステアリングベクトルｇｋを用いて、次式（６）のように表される。なお、式（４）と式（５）において、Ｔは転置記号である。
【００３７】
【数６】
2020150490.tif 000008
【００３８】
【数７】
2020150490.tif 000009
【００３９】
【数８】
2020150490.tif 000010
【００４０】
式（６）は、行列とベクトルを用いて、次式（７）のように表すことができる。なお、以下の説明において、周波数ωは、各周波数で独立に処理するため，（ω）の記述を省略する。
【００４１】
【数９】
2020150490.tif 000011
【００４２】
ここで、平面における入射角度θとすると、ビームフォーマ出力Ｙｋの平均パワーを求めることになる。ビームフォーミング法では、音源方向から到来する音波の位相がそろえられ加算されるため、音源方向から到来する音波が強調される、これにより、音響的なビームが形成される。ビームフォーミング法では、このビームを空間的にスキャンすることにより、方向が真の音源方向と一致したときに、空間スペクトルにピークが現れる。ビームフォーミング法では、このピーク位置により音源の位置（到来方向）を推定する。
【００４３】
しかしながら、式（７）を用いて、ある周波数ある方向について計算するのに、複素数の乗算がＭ回必要になる。したがって、すべての角度について計算すると乗算回数は、ＭＫ回必要である。例えば、音源定位を、方位角を５°の精度で行うためにはｋ＝７２となる。マイクロホンの個数Ｍが３２個の場合、乗算回数は、２３０４（＝７２×３２）回必要である。
【００４４】
［本実施形態による音源定位における演算］
次に、本実施形態による音源定位における演算方法を説明する。なお、以下の説明においても（ω）の記述を省略する。
本実施形態では、ステアリングベクトル算出部１０２１が、各マイクロホン２１についてのステアリング係数（ビームフォーミング係数）Ｇｍ（θｋ）を、次式（８）のようにＮ次の複素フーリエ係数でモデル化する。
【００４５】
【数１０】
2020150490.tif 000012
【００４６】
式（８）において、Ｃｎｍはビームフォーミングのフーリエ係数（以下、単にフーリエ係数という）であり、ｉは複素数を表す。また、ＣｎｍとＣ−ｎｍは互いに共役の関係である。
【００４７】
［係数の求め方］
ここで、例として、入射角度θのみを変数とする１次元のステアリング係数Ｇ（θｋ）に対し、式（８）で与えられる複素振幅モデルを導入した場合の係数（Ｃｎ（ω））の決定方法について説明する。なお以下の説明では、簡略化のためωを省略しＣｎと記述する。
実測した伝達関数の数をＬ、その時の入射角度θｌ（ｌ＝１，２，３，…，Ｌ）とすると次式（９）の連立方程式が得られる。
【００４８】
【数１１】
2020150490.tif 000013
【００４９】
この連立方程式は、次式（１０）のように、行列とベクトルを利用して記述できる。
【００５０】
【数１２】
2020150490.tif 000014
【００５１】
式（１０）において、ｇは実測ステアリングベクトル、ｃは係数ベクトル、Ａはモデルのステアリング係数である。各ベクトルは次式（１１）〜次式（１３）である。
【００５２】
【数１３】
2020150490.tif 000015
【００５３】
【数１４】
2020150490.tif 000016
【００５４】
【数１５】
2020150490.tif 000017
【００５５】
なお、式（１３）において、ａｌは次式（１４）である。
【００５６】
【数１６】
2020150490.tif 000018
【００５７】
式（１０）から、求めるべき係数ベクトルｃは、次式（１５）として求めることができる。
【００５８】
【数１７】
2020150490.tif 000019
【００５９】
式（１５）において、Ａ＋はＡの疑似逆行列（ムーアペンローズ型疑似逆行列）である。式（１５）により、一般に、変数の数２Ｎ＋１よりも式の数Ｌが多い場合（２Ｎ＋１＞Ｌの場合）、係数は誤差の２乗和が最小となる解として得られる。また、そうでない場合（２Ｎ＋１≦Ｌの場合）は、式（９）の解の中で解のノルムが最小になる解が得られる。
【００６０】
次に、ビームフォーミングの出力値Ｙｋは、次式（１６）のように計算することができる。
【００６１】
【数１８】
2020150490.tif 000020
【００６２】
なお、式（８）、（１６）では、（ω）の記述を省略しているが、Ｘｍ（ω）、Ｃｍ（ω）である。
式（８）、（１６）は、行列・ベクトルで次式（１７）のように表される。
【００６３】
【数１９】
2020150490.tif 000021
【００６４】
式（１７）において、左辺はビームフォーミング係数である。ビームフォーミング係数において、行数が方向数Ｋであり、列数がマイクロホン数Ｍである。また、右辺の１項目は、フーリエ基底関数であり、行数が方向数Ｋ（離散化角度数）であり、列数が２Ｎ＋１（フーリエ級数の数）である。また、右辺の２項目は、ビームフォーミングのフーリエ係数であり、行数が２Ｎ＋１（フーリエ級数の数）であり、列数がマイクロホン数Ｍである。
【００６５】
ここで、式（１７）をＧ＝ＳＣとする。
フーリエモデルで計算する場合、ビームフォーミング出力Ｙｋは、Ｙｋ＝Ｇｘ＝ＳＣｘ＝Ｓ（Ｃｘ）のように表すことができる。
Ｓは、式（１７）のように、Ｋ行、２Ｎ＋１列の行列であり、Ｋ（２Ｎ＋１）回の乗算が必要である。また、Ｃは、式（１７）のように、２Ｎ＋１行、Ｍ列の行列であり、（２Ｎ＋１）Ｍ回の乗算が必要である。このため、式（１７）の乗算回数の合計は、（Ｍ＋Ｋ）（２Ｎ＋１）回である。
なお、ｅｘｐ（ｉｎθｋ）自体の計算は、予めテーブルを用意することで参照のみの処理となるため、計算回数から除外した。このｅｘｐ（ｉｎθｋ）のテーブルは、テーブル記憶部１０２２があらかじめ記憶している。
【００６６】
通常のフーリエ係数のモデル次数は、マイクロホン数Ｍや離散化角度数Ｋに対し小さい値のため、計算量を減らすことができる。
例えば，マイクロホン数Ｍ＝３２、離散化角度数Ｋ＝７２、複素フーリエモデル次数Ｎ＝５の場合の演算回数は、１１４４（＝（２Ｎ＋１）（Ｍ＋Ｋ）＝１１＊１０４）回である。上述したように、通常の演算回数は２３０４回であるので、約半分の乗算回数で計算できる。
【００６７】
［演算回数の比較］
次に、従来技術と本実施形態の演算回数の比較例を説明する。
図３は、従来技術の演算回数例を示す図である。横の第１軸がマイクロホン数Ｍであり、横の第２軸が離散化角度数Ｋであり、縦軸が乗算回数である。図３に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００の場合、乗算回数は約４×１０４回である。
【００６８】
図４〜図７は、本実施形態に係る演算回数例を示す図である。図４は、複素フーリエモデル次数Ｎが５次の場合の本実施形態に係る演算回数例を示す図である。図５は、複素フーリエモデル次数Ｎが１０次の場合の本実施形態に係る演算回数例を示す図である。図６は、複素フーリエモデル次数Ｎが２０次の場合の本実施形態に係る演算回数例を示す図である。図７は、複素フーリエモデル次数Ｎが４０次の場合の本実施形態に係る演算回数例を示す図である。なお、図４〜図７の各軸は、図３と同じである。
【００６９】
図４に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが５次の場合、乗算回数は約０．５×１０４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／８に低減されている。
図５に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが１０次の場合、乗算回数は約１×１０４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／４に低減されている。
【００７０】
図６に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが２０次の場合、乗算回数は約２×１０４回である。従来技術のＭ×Ｋ回と比較して、乗算回数が１／２に低減されている。
図７に示すように、マイクロホン数Ｍ＝１００、離散化角度数Ｋが４００、複素フーリエモデル次数Ｎが４０次の場合、乗算回数は約４×１０４回である。この場合の演算回数は、従来技術のＭ×Ｋ回と同等である。なお、複素フーリエモデル次数Ｎ＝４０は、離散角度Ｍを８１点もつのと同じ細かさでモデル化することに相当する。
【００７１】
図３〜図７に示したように、複素フーリエモデル次数Ｎが低い場合は、ＭとＫが大きいと計算量の削減効果が高い。一方、複素フーリエモデル次数Ｎが多くなると、計算量削減効果は少ない。
【００７２】
［マイクロホン数と乗算回数の関係］
次に、本実施形態におけるマイクロホン数と乗算回数の関係を説明する。
図８〜図１０は、本実施形態におけるマイクロホン数と乗算回数の関係を示す図である。図８は、本実施形態に係るマイクロホン数Ｍが８個の場合の演算回数を示す図である。図９は、本実施形態に係るマイクロホン数Ｍが３２個の場合の演算回数を示す図である。図１０は、本実施形態に係るマイクロホン数Ｍが１２８個の場合の演算回数を示す図である。図８〜図１０において、横軸は離散化角度数Ｋであり、縦軸が演算回数である。また、符号ｇ１１は従来技におけるＭＮ回の演算回数である。符号ｇ２１は複素フーリエモデル次数Ｎが５であり、符号ｇ２２は複素フーリエモデル次数Ｎが１０であり、符号ｇ２３は複素フーリエモデル次数Ｎが２０である。
図８〜図１０に示すように、マイクロホン数Ｍと離散化角度数Ｋが大きく、複素フーリエモデル次数Ｎが小さい場合に演算回数が従来技術のＭＮ回と比較して低減することができる。
【００７３】
このため、音源定位部１０２は、収音部２が備えるマイクロホン２１の個数Ｍに応じて、次式（１８）を満足するＮを選択するようにしてもよい。
【００７４】
【数２０】
2020150490.tif 000022
【００７５】
［処理手順］
次に、音処理装置１の処理手順例を説明する。
図１１は、本実施形態に係る音処理装置１の処理のフローチャートである。
【００７６】
（ステップＳ１）収音部２は、音響信号を収音し、収音したＭチャネルの音響信号を取得部１０１に出力する。
【００７７】
（ステップＳ２）音源定位部１０２は、例えばビームフォーミング法を用いてビームフォーミングの出力を算出する。続けて、音源定位部１０２は、算出したビームフォーミングの出力に基づいて音源毎の音源方向を定める。
【００７８】
（ステップＳ３）音源分離部１０４は、Ｍチャネルの音響信号を、音源方向情報が示す音源方向に基づいて、例えばＧＨＤＳＳ法を用いて、音源毎の成分を示す音響信号である音源別音響信号に分離する。
【００７９】
（ステップＳ４）発話区間検出部１０５は、分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出する。
【００８０】
（ステップＳ５）特徴量抽出部１０６は、発話区間検出部１０５が出力する分離されたスペクトルから、例えばメル周波数ケプストラム係数（ＭＦＣＣ）を音響特徴量として音源毎に計算する。
【００８１】
（ステップＳ６）音源同定部１０８は、特徴量抽出部１０６が出力する音響特徴量を、音響モデル記憶部１０７が記憶する音響モデルを参照して音源を同定する。
【００８２】
なお、上述した例では、音源定位処理においてビームフォーミング法を用いる例を説明したがこれに限らない。音源定位処理に用いる手法は、ＭＵＳＩＣ法等であってもよく、離散的した角度毎のステアリングベクトルを用いる手法であれば、上述したＮ次の複素フーリエ係数でモデル化を適用することができる。
【００８３】
また、Ｎ次の複素フーリエ係数でモデル化において、フーリエ級数展開に限らず、テーラー展開やスプライン補間等、他の手法を用いてもよい。
【００８４】
以上のように、本実施形態では、マイクロホン毎にステアリングベクトルをＮ（Ｎは１以上の整数）次のフーリエ級数展開でモデル化したので、ステアリングベクトルの演算量を低減することができる。
【００８５】
［任意の角度のビームフォーミング値の算出］
ここで、予め測定した伝達関数が３０度毎であったとする。
例えば、特開２０１０−１７１７８５号公報（以下、特許文献２という）には、少ない数の限られた方向の伝達関数から、中間的な方向の伝達関数を補間により求める手法が開示されている。しかしながら、特許文献２に記載の技術では、元の測定した伝達関数が、全周を整数で等分した角度に限定される。また、特許文献２に記載の技術では、補間で算出できる伝達関数の角度も実測した角度間隔の整数倍でとなる必要がある。そのため、特許文献２に記載の技術では、任意の中間的な角度の伝達関数値を補間で求めることができなかった。
【００８６】
これに対して、本実施形態では、各マイクロホン２１についてのステアリング係数をN次の複素フーリエ係数でモデル化して、テーブル記憶部１０２２にステアリングベクトルデータベースを記憶させるようにした。この結果、本実施形態では、音源定位部１０２が音源定位における音源方向の算出を、離散化した角度毎に出力値を計算することなく直接多項式の解から求めることができる。
【００８７】
ここで、走査ビームフォーミングによる水平方向１次元の音源定位を例に任意の角度の出力値の計算方法を説明する。走査ビームフォーミングによる定位では、離散化した角度をθｋ（ｋ＝１，２，３，…，Ｋ）毎にビームフォーミングの出力値Ｙｋを次式（１９）で計算して｜Ｙｋ｜２が最大とインデックスｍを求めることで、定位方向をθｍとして出力する。
【００８８】
【数２１】
2020150490.tif 000023
【００８９】
式（１９）において、θｋに対して離散的（不連続）であるため，｜Ｙｋ｜２のピークをその微分関数が０となる解から求めることはできない。
これに対し、各マイクロホン２１についてのステアリング係数Ｇｍ（θｋ）をＮ次の複素フーリエ係数でモデル化すると、任意の角度θについて，その出力Ｙ（θ）を次式（２０）のように表すことができる。
【００９０】
【数２２】
2020150490.tif 000024
【００９１】
式（２０）において、（Σｍ＝１ＭＸｍＣｎｍ（ω））をαｎと置くと、式（２０）は式（２１）のように表される。
【００９２】
【数２３】
2020150490.tif 000025
【００９３】
式（２１）において、｜Ｙｋ｜２が最大となるθは、次式（２２）を満たす。
【００９４】
【数２４】
2020150490.tif 000026
【００９５】
このため、式（２２）の方程式の解を求めることで｜Ｙｋ｜２が最大となるθを求めることができる。
｜Ｙ（θ）｜２＝Ｙ＊（θ）Ｙ（θ）であるので、式（２２）は、次式（２３）のように表される。
【００９６】
【数２５】
2020150490.tif 000027
【００９７】
式（２３）において、Ｙ＊（θ）は次式（２４）であり、Ｙ’（θ）は次式（２５）であり、Ｙ＊’（θ）は次式（２６）である。
【００９８】
【数２６】
2020150490.tif 000028
【００９９】
【数２７】
2020150490.tif 000029
【０１００】
【数２８】
2020150490.tif 000030
【０１０１】
このため、式（２３）は、次式（２７）のように表される。
【０１０２】
【数２９】
2020150490.tif 000031
【０１０３】
式（２７）において、ｅｘｐ（ｉｎθ）をｘとおき、ｄ｜Ｙ（θ）｜２／ｄθをｆ（ｘ）とおくと、式（２７）は次式（２８）のように表される。
【０１０４】
【数３０】
2020150490.tif 000032
【０１０５】
式（２８）において、和を展開してｘｎの項で整理した係数をβｎとすると、式（２８）は次式（２９）のように表される。
【０１０６】
【数３１】
2020150490.tif 000033
【０１０７】
ｆ（ｘ）＝０は、ｘ≠０からｘ２Ｎｆ（ｘ）＝０の解であるので、次式（３０）から解を求めることができる。
【０１０８】
【数３２】
2020150490.tif 000034
【０１０９】
すなわち、角度θを離散化せずに直接最大となる角度θを、多項式の解として求めることができる。
なお、式（２４）は、４Ｎ＋１次の方程式であるため、Ｎ（次数）が小さい場合に比較的高速に計算でき、誤差も少ない。
【０１１０】
以上のように、本実施形態によれば、予め測定したステアリングベクトルが３０度毎であっても、式（８）を用いて、実測値の中間値に加え任意の角度のステアリングベクトルを計算することができる。これにより、本実施形態によれば、細かい分解能で定位や分離を行うことができるようになる。本実施形態によれば、例えば、５度おきに計測したステアリングベクトルしかない状態でも、１度おきに定位のデータを得ることができ、より高い精度で音源の到来方向を推定できるようになる。さらに、本実施形態によれば、測定点を少なくしても任意の音源方向のステアリングベクトルを生成できるので、格納するデータ量を従来より低減することができる。
【０１１１】
なお、上述した例では、走査ビームフォーミングによる水平方向１次元の音源定位を例に任意の角度の出力値の計算方法を説明したが、次元は二次元、三次元であってもよい。また、音源定位の手法は走査ビームフォーミングに限らず、ＭＵＳＩＣ法等であってもよい。
【０１１２】
なお、本発明における音処理装置１の全てまたは一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音処理装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１１３】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１１４】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【０１１５】
１…音処理装置、１０１…取得部、１０２…音源定位部、１０３…ステアリングベクトル記憶部、１０４…音源分離部、１０５…発話区間検出部、１０６…特徴量抽出部、１０７…音響モデル記憶部、１０８…音源同定部、１０９…認識結果出力部１０９を備える。また、音源定位部１０２は、ステアリングベクトル算出部１０２１、２…収音部
【図１】
2020150490.tif 000037
【図２】
2020150490.tif 000038
【図３】
2020150490.tif 000039
【図４】
2020150490.tif 000040
【図５】
2020150490.tif 000041
【図６】
2020150490.tif 000042
【図７】
2020150490.tif 000043
【図８】
2020150490.tif 000044
【図９】
2020150490.tif 000045
【図１０】
2020150490.tif 000046
【図１１】
2020150490.tif 000047