(57)【特許請求の範囲】
【請求項１】
複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号を入力とし、各周波数領域観測信号のパワースペクトル密度を抽出する音源特徴抽出部と、
各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力して直間比の推定値を求める音源情報推定部と、
を含み、
上記統計的マッピングモデルは、Nを所定の直間比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めた直間比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、局所ＰＳＤ推定処理に対応する第一の層と、周波数加算処理に対応する第二の層と、対数領域比計算処理に対応する第三の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定装置。
【請求項２】
入力された観測信号に対して複数の異なる方向の角度領域から到来する音を強調して複数の周波数領域観測信号を生成し、各周波数領域観測信号のパワーを抽出する音源特徴抽出部と、
各周波数領域観測信号のパワーを用いて各周波数領域観測信号のパワースペクトル密度を推定する局所ＰＳＤ推定部と、
各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力して直間比の推定値を求める音源情報推定部と、
を含み、
上記統計的マッピングモデルは、Nを所定の直間比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めた直間比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、周波数加算処理に対応する第一の層と、対数領域比計算処理に対応する第二の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定装置。
【請求項３】
複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号を入力とし、各周波数領域観測信号のパワースペクトル密度を抽出する音源特徴抽出部と、
各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力してＳＮ比の推定値を求める音源情報推定部と、
上記ＳＮ比の推定値から周波数帯域毎の利得係数を計算し、上記周波数領域観測信号の各対応する周波数帯域のパワースペクトル密度に乗算するフィルタリング部と、
を含み、
上記統計的マッピングモデルは、Nを所定のＳＮ比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めたＳＮ比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、局所ＰＳＤ推定処理に対応する第一の層と、加算処理に対応する第二の層と、対数領域比計算処理に対応する第三の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定装置。
【請求項４】
入力された観測信号に対して複数の異なる方向の角度領域から到来する音を強調して複数の周波数領域観測信号を生成し、各周波数領域観測信号のパワーを抽出する音源特徴抽出部と、
各周波数領域観測信号のパワーを用いて各周波数領域観測信号のパワースペクトル密度を推定する局所ＰＳＤ推定部と、
各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力してＳＮ比の推定値を求める音源情報推定部と、
上記ＳＮ比の推定値から周波数帯域毎の利得係数を計算し、上記周波数領域観測信号の各対応する周波数帯域のパワースペクトル密度に乗算するフィルタリング部と、
を含み、
上記統計的マッピングモデルは、Nを所定のＳＮ比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めたＳＮ比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、加算処理に対応する第一の層と、対数領域比計算処理に対応する第二の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定装置。
【請求項５】
請求項１に記載の音源情報推定装置であって、
Qを周波数ビン数とし、ωを周波数ビン番号とし、PBF,l,ωをl番目のビームフォーミング出力のパワースペクトル密度とし、Gl,Ω,ωを方向Ωに対するl番目のビームフォーミングフィルタの感度とし、PD,ωを直接音のパワースペクトル密度とし、PR,ωを残響のパワースペクトル密度とし、f(n)をn層目の活性化関数とし、Jnをn層目のレイヤー数とし、g2, g3, B2, B3を所定の値幅調整係数とし、・Tは転置を表し、
上記ディープニューラルネットワークの入力層は、次式に設定されており、
【数９５】
0006594222.tif 000096
上記ディープニューラルネットワークの中間層は、
上記第一の層のネットワークパラメータの初期値が次式に設定され、
【数９６】
0006594222.tif 000097
上記第一の層の出力が次式で計算され、
【数９７】
0006594222.tif 000098
上記第二の層のネットワークパラメータの初期値が次式に設定され、
【数９８】
0006594222.tif 000099
上記第二の層の出力が次式で計算され、
【数９９】
0006594222.tif 000100
上記第三の層のネットワークパラメータの初期値が次式に設定されている、
【数１００】
0006594222.tif 000101
音源情報推定装置。
【請求項６】
請求項２に記載の音源情報推定装置であって、
Qを周波数ビン数とし、ωを周波数ビン番号とし、PD,ωを直接音のパワースペクトル密度とし、PR,ωを残響のパワースペクトル密度とし、f(n)をn層目の活性化関数とし、Jnをn層目のレイヤー数とし、g3, B3を所定の値幅調整係数とし、・Tは転置を表し、^・は推定値を表し、
上記ディープニューラルネットワークの入力層は、次式に設定されており、
【数１０１】
0006594222.tif 000102
上記ディープニューラルネットワークの中間層は、
上記第一の層のネットワークパラメータの初期値が次式に設定され、
【数１０２】
0006594222.tif 000103
上記第一の層の出力が次式で計算され、
【数１０３】
0006594222.tif 000104
上記第二の層のネットワークパラメータの初期値が次式に設定されている、
【数１０４】
0006594222.tif 000105
音源情報推定装置。
【請求項７】
請求項３に記載の音源情報推定装置であって、
Lをビームフォーミング数とし、Kを音源数とし、Qを周波数ビン数とし、ωを周波数ビン番号とし、τをフレーム番号とし、φYζ(l),ω,τをl番目のビームフォーミングの出力信号とし、Dζ(l),k,ωをl番目のビームフォーミングのk番目の音源の位置に対する空間的な感度の平均とし、ψk,l,ωを次式で定義される値とし、
【数１０５】
0006594222.tif 000106
^φS,ω,τを目的音のパワースペクトル密度の推定値とし、^φN,ω,τを雑音のパワースペクトル密度の推定値とし、αN,k,ωを所定の係数とし、f(n)をn層目の活性化関数とし
、Jnをn層目のレイヤー数とし、・Tは転置を表し、gωi,2, gωi,3, Bωi,2, Bωi,3を所定の値幅調整係数とし、
上記ディープニューラルネットワークの入力層は、次式に設定されており、
【数１０６】
0006594222.tif 000107
上記ディープニューラルネットワークの中間層は、
上記第一の層のネットワークパラメータの初期値が次式に設定され、
【数１０７】
0006594222.tif 000108
上記第一の層の出力が次式で計算され、
【数１０８】
0006594222.tif 000109
上記第二の層のネットワークパラメータの初期値が次式に設定され、
【数１０９】
0006594222.tif 000110
上記第二の層の出力が次式で計算され、
【数１１０】
0006594222.tif 000111
上記第三の層のネットワークパラメータの初期値が次式に設定されている、
【数１１１】
0006594222.tif 000112
音源情報推定装置。
【請求項８】
請求項４に記載の音源情報推定装置であって、
Kを音源数とし、Qを周波数ビン数とし、ωを周波数ビン番号とし、τをフレーム番号とし、^φS,ω,τを目的音のパワースペクトル密度の推定値とし、^φN,ω,τを雑音のパワースペクトル密度の推定値とし、αN,k,ωを所定の係数とし、f(n)をn層目の活性化関数とし、Jnをn層目のレイヤー数とし、・Tは転置を表し、gωi,3, Bωi,3を所定の値幅調整係数とし、
上記ディープニューラルネットワークの入力層は、次式に設定されており、
【数１１２】
0006594222.tif 000113
上記ディープニューラルネットワークの中間層は、
上記第一の層のネットワークパラメータの初期値が次式に設定され、
【数１１３】
0006594222.tif 000114
上記第一の層の出力が次式で計算され、
【数１１４】
0006594222.tif 000115
上記第二の層のネットワークパラメータの初期値が次式に設定されている、
【数１１５】
0006594222.tif 000116
音源情報推定装置。
【請求項９】
請求項１、３、５、７のいずれかに記載の音源情報推定装置であって、
上記ディープニューラルネットワークは、入力層の値が上記第一の層に入力され、上記第一の層の出力が上記第二の層に入力され、上記第二の層の出力が上記第三の層に入力され、上記第三の層の出力に基づいて出力が計算されるよう構成されている、
音源情報推定装置。
【請求項１０】
請求項２、４、６、８のいずれかに記載の音源情報推定装置であって、
上記ディープニューラルネットワークは、入力層の値が上記第一の層に入力され、上記第一の層の出力が上記第二の層に入力され、上記第二の層の出力に基づいて出力が計算されるよう構成されている、
音源情報推定装置。
【請求項１１】
請求項１から１０のいずれかに記載の音源情報推定装置であって、
上記複数の周波数領域音響信号は、各マイクロホンが正多角形もしくは正多面体の頂点位置に配置されたマイクロホンアレイを用いて収音したものである、
音源情報推定装置。
【請求項１２】
音源特徴抽出部が、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号を入力とし、各周波数領域観測信号のパワースペクトル密度を抽出する音源特徴抽出ステップと、
音源情報推定部が、各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力して直間比の推定値を求める音源情報推定ステップと、
を含み、
上記統計的マッピングモデルは、Nを所定の直間比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めた直間比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、局所ＰＳＤ推定処理に対応する第一の層と、周波数加算処理に対応する第二の層と、対数領域比計算処理に対応する第三の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定方法。
【請求項１３】
音源特徴抽出部が、入力された観測信号に対して複数の異なる方向の角度領域から到来する音を強調して複数の周波数領域観測信号を生成し、各周波数領域観測信号のパワーを抽出する音源特徴抽出ステップと、
局所ＰＳＤ推定部が、各周波数領域観測信号のパワーを用いて各周波数領域観測信号のパワースペクトル密度を推定する局所ＰＳＤ推定ステップと、
音源情報推定部が、各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力して直間比の推定値を求める音源情報推定ステップと、
を含み、
上記統計的マッピングモデルは、Nを所定の直間比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めた直間比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、周波数加算処理に対応する第一の層と、対数領域比計算処理に対応する第二の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定方法。
【請求項１４】
音源特徴抽出部が、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号を入力とし、各周波数領域観測信号のパワースペクトル密度を抽出する音源特徴抽出ステップと、
音源情報推定部が、各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力してＳＮ比の推定値を求める音源情報推定ステップと、
フィルタリング部が、上記ＳＮ比の推定値から周波数帯域毎の利得係数を計算し、上記周波数領域観測信号の各対応する周波数帯域のパワースペクトル密度に乗算するフィルタリングステップと、
を含み、
上記統計的マッピングモデルは、Nを所定のＳＮ比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めたＳＮ比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、局所ＰＳＤ推定処理に対応する第一の層と、加算処理に対応する第二の層と、対数領域比計算処理に対応する第三の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定方法。
【請求項１５】
音源特徴抽出部が、入力された観測信号に対して複数の異なる方向の角度領域から到来する音を強調して複数の周波数領域観測信号を生成し、各周波数領域観測信号のパワーを抽出する音源特徴抽出ステップと、
局所ＰＳＤ推定部が、各周波数領域観測信号のパワーを用いて各周波数領域観測信号のパワースペクトル密度を推定する局所ＰＳＤ推定ステップと、
音源情報推定部が、各周波数領域観測信号のパワースペクトル密度を統計的マッピングモデルへ入力してＳＮ比の推定値を求める音源情報推定ステップと、
フィルタリング部が、上記ＳＮ比の推定値から周波数帯域毎の利得係数を計算し、上記周波数領域観測信号の各対応する周波数帯域のパワースペクトル密度に乗算するフィルタリングステップと、
を含み、
上記統計的マッピングモデルは、Nを所定のＳＮ比推定処理演算を構成する信号処理演算の単位数とし、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出したパワースペクトル密度と各周波数領域音響信号から求めたＳＮ比の正解値とを用いてパラメータを学習したN+1層以上のディープニューラルネットワークであり、
上記ディープニューラルネットワークの入力層は、各周波数領域観測信号のパワースペクトル密度に設定されており、
上記ディープニューラルネットワークの中間層は、加算処理に対応する第一の層と、対数領域比計算処理に対応する第二の層からなるよう学習されるように、各層のネットワークパラメータの初期値が、物理的な特性を加味して設定されている、
音源情報推定方法。
【請求項１６】
請求項１から１１のいずれかに記載の音源情報推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音響信号処理の技術分野に関し、特に、音響信号から抽出した音源特徴を用いて音源情報を推定する技術に関する。
【背景技術】
【０００２】
従来から音響信号処理の技術分野において、音源特徴から音源情報を推定することが行われている。そのような従来技術として、例えば、部屋の残響度合いなどの指標となる直間比を推定する直間比推定技術や、様々な雑音が混在する状況下で特定の位置にある音源を強調する音源強調技術などがある。
【０００３】
従来の直間比推定技術では、複数のビームフォーミング出力から得られる空間的な感度分布を利用して、決定論的に直間比を決定する（例えば、特許文献１参照）。図１に従来の直間比推定装置の機能構成を示す。周波数領域変換部１１−１〜１１−Ｍ（M≧2）は、M本のマイクロホン１０−１〜１０−Ｍで受音した信号を入力とし、周波数領域の観測信号xω,τ=[X1,ω,τ,…,XM,ω,τ]Tを出力する。ビームフォーミング部（直接音強調用）１２−１は、観測信号xω,τを入力とし、音源方向が強調された出力信号YBF,1,ωを出力する。ビームフォーミング部（拡散残響解析用）１２−２は、観測信号xω,τを入力とし、音源以外の方向が強調された出力信号YBF,2,ωを出力する。局所ＰＳＤ推定部１３は、2個のビームフォーミング出力信号YBF,1,ω, YBF,2,ωを用いて、周波数ごとに直接音のＰＳＤPD,ωと残響のＰＳＤ−PR,ωを求める。パワー比計算部１４は、直接音と残響のＰＳＤPD,ω, −PR,ωを用いて、直間比Γを推定する。
【０００４】
従来の音源強調技術では、（１）線形性のビームフォーミングを用いる方法や、（２）複数のビームフォーミング出力から得られる空間的な感度分布の差を利用して非線形性のウィーナーフィルタを生成する方法などが用いられる（例えば、特許文献２参照）。図２に従来の音源強調装置の機能構成を示す。受音部１０−１〜１０−Ｍは、汎用マイクロホンアレイや相互情報量増大型の受音系を用いて音を観測する。周波数領域変換部１１−１〜１１−Ｍは、受音したM個の信号を入力とし、周波数領域の観測信号xω,τを出力する。ビームフォーミング部（直接音強調用）１２−１は、観測信号xω,τを入力とし、音源方向が強調された出力信号Yζ(1),ω,τ=Yi,ω,τを出力する。同様に、ビームフォーミング部（雑音解析用）１２−２〜１２−Ｌ（L≧2）は、観測信号xω,τを入力とし、音源以外の方向が強調されたL-1個のビームフォーミング出力信号Yζ(2),ω,τ, …, Yζ(L),ω,τをそれぞれ出力する。局所ＰＳＤ推定部１３は、L個のビームフォーミング出力信号Yζ(1),ω,τ, …, Yζ(L),ω,τを用いて、局所ＰＳＤ^ΦS,ω,τを推定する。事前ＳＮＲ計算部１５は、局所ＰＳＤ^ΦS,ω,τを入力とし、事前ＳＮＲの推定値^ξω,τ=^φS,ω,τ/^φN,ω,τを求める。フィルタリング部１６は、推定した事前ＳＮＲ^ξω,τを用いてウィーナーフィルタを計算し、ビームフォーミング出力信号Yζ(1),ω,τにウィーナーフィルタを掛け合わせることで、出力信号Zi,ω,τを出力する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５３０６２号公報
【特許文献２】国際公開第２０１５／１２９７６０号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の直間比推定技術では、（１）直接音と残響が無相関である、（２）室内に音源のみが存在し雑音レベルが十分低い、などの条件が成り立てば、ある程度正確に直間比を推定することができる。しかしながら、直接音と初期反射を含む残響には相関が存在するし、室内には雑音が存在するケースが多い。その場合、直間比の推定精度が低下する。
【０００７】
従来の音源強調技術では、（１）音源信号群の時間スパース性が低く、音源間の無相関性が仮定できない、（２）背景雑音のレベルが高い、（３）ウィーナーフィルタ設計に用いるパラメータが合っていない、などの場合において、目的音もしくは雑音のＰＳＤの推定精度が低下し、出力信号が強調されないことがある。
【０００８】
すなわち、従来のように決定論的に音源情報を求める手法では、特定の条件を満足しない環境で利用した場合に、精度が低下するという課題があった。
【０００９】
この発明の目的は、このような点に鑑みて、従来の決定論的な手法では推定精度が低下する場合であっても、高精度に音源特徴から音源情報を推定することができる音源情報推定技術を提供することである。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、この発明の音源情報推定装置は、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号から各周波数領域観測信号の音源特徴を抽出する音源特徴抽出部と、各周波数領域観測信号の音源特徴を統計的マッピングモデルへ入力して音源情報の推定値を求める音源情報推定部と、を含み、統計的マッピングモデルは、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出した音源特徴と各周波数領域音響信号から求めた音源情報の正解値とを用いてパラメータを学習したものである。
【発明の効果】
【００１１】
この発明の音源情報推定技術によれば、統計的な手法により音源特徴から音源情報を求めるため、従来の決定論的な手法では推定精度が低下する環境下であっても、高精度に音源特徴から音源情報を推定することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、従来の直間比推定装置の機能構成を例示する図である。
【図２】図２は、従来の音源強調装置の機能構成を例示する図である。
【図３】図３は、音源とインパルス応答の分解モデルを説明するための図である。
【図４】図４は、残響環境下における直接音と残響の伝搬モデルを説明するための図である。
【図５】図５は、直間比を推定するための局所ＰＳＤ推定を説明するための図である。
【図６】図６は、第一実施形態の直間比推定装置の機能構成を例示する図である。
【図７】図７は、直間比推定方法の処理手続きを例示する図である。
【図８】図８は、ＤＮＮマッピング部の機能構成を例示する図である。
【図９】図９は、第二実施形態の直間比推定装置の機能構成を例示する図である。
【図１０】図１０は、第三実施形態の直間比推定装置の機能構成を例示する図である。
【図１１】図１１は、第四実施形態の直間比推定装置の機能構成を例示する図である。
【図１２】図１２は、相互情報量増大型受音系を説明するための図である。
【図１３】図１３は、第五実施形態の音源強調装置の機能構成を例示する図である。
【図１４】図１４は、音源強調方法の処理手続きを例示する図である。
【図１５】図１５は、第六実施形態の音源強調装置の機能構成を例示する図である。
【図１６】図１６は、第七実施形態の音源強調装置の機能構成を例示する図である。
【図１７】図１７は、第八実施形態の音源強調装置の機能構成を例示する図である。
【図１８】図１８は、対称性をもつアレイ構造を例示する図である。
【発明を実施するための形態】
【００１３】
以下、この発明を実施するための形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１４】
第一実施形態から第四実施形態では、この発明の音源情報推定技術を直間比推定技術に適用した実施形態を説明する。第五実施形態から第八実施形態では、この発明の音源情報推定技術を音源強調技術に適用した実施形態を説明する。第九実施形態では、直間比推定技術と音源強調技術との上位概念として抽出される音源情報推定技術を、各実施形態に対応させて説明する。
【００１５】
なお、文中で使用する記号「^」「−」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。
【００１６】
＜直間比推定技術＞
最初に、従来の決定論的な手法による直間比推定技術を詳細に説明し、続いて、この発明の音源情報推定技術を適用した直間比推定技術の実施形態を説明する。
【００１７】
≪残響環境下での音伝搬モデル≫
残響環境下における音源とマイクロホン間のインパルス応答は、直接音（direct sound）、初期反射音（early reflection）、および後部残響（late reverberation）から構成される。ここでは、簡易なモデル化のために、残響には初期反射音と後部残響とが含まれることとして、図３に示すように、直接音（direct sound）と残響（reverberation）の2要素によりインパルス応答が構成されるものと想定する。インパルス応答の周波数ωにおける特性（以後、伝達特性と呼ぶ）をHωとすると、伝達特性は式（１）でモデル化される。
【００１８】
【数１】
0006594222.tif 000002
【００１９】
ここで、HD,ωは直接音の伝達特性、HR,ωは残響の伝達特性を表す。
【００２０】
直接音と残響の伝達特性は特性が大きく異なる。一般的に、直接音は空間的に干渉性が高く、残響は拡散性であり干渉性が低い。直接音は、図４（Ａ）に示すように、マイクロホンに対して直接的に伝搬する。反対に、残響は、図４（Ｂ）に示すように、あらゆる方向から等パワーで伝搬するようにモデル化できる。この伝搬モデルの違いに着目することで、直接音と残響のパワーを分離して推定できると考えられる。
【００２１】
以下の説明の中では、3つの条件を仮定する。（１）音源の到来方向は既知とする。音源の到来方向はマニュアルで与えてもよいし、ビームフォーミング法やMUSIC法等の従来方式で推定してもよい。（２）直接音と残響は無相関であるとする。（３）各方向に対する感度分布を探索するために、複数のマイクロホンで構成されたマイクロホンアレイで観測することとする。
【００２２】
≪アレイ信号の観測モデル≫
Xm,ω,τをm番目のマイクロホンにおける観測信号とする。マイクロホンは総計でM本あり、ωは周波数ビン番号、τは時間フレーム番号を表す。式（１）を用いると、Xm,ω,τは式（２）でモデル化される。
【００２３】
【数２】
0006594222.tif 000003
【００２４】
ここで、Sω,τは音源のスペクトラムを表す。
【００２５】
式（２）における伝達特性は、さらに2つの要素に分解される。1つ目の要素は、音源から参照位置（例えばマイクロホンアレイの中心）における伝達特性である。2つ目の要素は、参照位置から各マイクロホンまでの伝達特性である。音源信号が平面波として到来することを仮定すると、2つ目の要素（参照位置と各マイクロホンとの間の伝達特性）は、マイクロホン間に生じる遅延差による位相シフトで近似できる。そのため、HD,m,ωとHR,m,ωは式（３）（４）で表現される。
【００２６】
【数３】
0006594222.tif 000004
【００２７】
ここで、HDref,ωは音源と参照位置間における直接音の伝達特性、HRref,Ω,ωは残響の伝達特性を表す。τΩ,mは三次元的な角度Ω={θ, φ}(θ∈[0, 2π]: 水平角、φ∈[0, π]: 天頂角)から音源が到来するときの参照位置とm番目のマイクロホン間における遅延時間を表す。また、ΩDは音源の到来方向を表す。
【００２８】
マイクロホンアレイの観測信号ベクトルは式（５）でモデル化される。
【００２９】
【数４】
0006594222.tif 000005
【００３０】
ここで、aΩ,ω=[exp(-jωτ1,Ω), …, exp(-jωτM,Ω)]Tは方向Ωに対するステアリングベクトルを表す。SD,ω,τ, SR,Ω,ω,τはそれぞれ参照位置で観測される方向Ωから到来する直接音と残響とを表し、式（６）（７）で定義される。なお、・T（上付き添え字のT）は転置を表す。
【００３１】
【数５】
0006594222.tif 000006
【００３２】
≪ビームフォーミング出力≫
異なる方向から到来する波面の強度分布を解析するために、観測信号xω,τに対して、2つ以上のビームフォーミングフィルタを掛け合わせることを想定する。l番目のビームフォーミングの出力信号は、式（８）で表される。
【００３３】
【数６】
0006594222.tif 000007
【００３４】
ここで、・H（上付き添え字のH）は共役転置を表す。wl,ωはl番目のビームフォーミングのフィルタ係数であり、式（９）で定義される。
【００３５】
【数７】
0006594222.tif 000008
【００３６】
ビームフォーミング出力のパワースペクトル密度（Power Spectral Density: PSD）はビームフォーミングの感度特性で重みづけした直接音と残響のＰＳＤの加算で表され、次式で表現される。
【００３７】
【数８】
0006594222.tif 000009
【００３８】
ここで、PD,ωは参照位置で観測した直接音のＰＳＤ、PR,Ω,ωは残響のＰＳＤを表す。PD,ωとPR,Ω,ωは式（12）（13）で表現される。
【００３９】
【数９】
0006594222.tif 000010
【００４０】
ここで、E[・]は時間に対する期待値演算を表す。Gl,Ω,ωは方向Ωに対するl番目のビームフォーミングフィルタの感度を表し、式（14）で表現される。
【００４１】
【数１０】
0006594222.tif 000011
【００４２】
式（11）の導出では直接音と残響が無相関であることを仮定した。つまり、E[S*D,ω,τSR,Ω,ω,τ]=0とした。ここで、・*（上付き添え字の*）は複素共役を表す。
【００４３】
残響が空間的に拡散して伝搬する（すなわち、あらゆる方向から到来するパワーが等しい）と仮定しているので、残響のＰＳＤはすべての方向Ωに対して定数であるとモデル化できる。
【００４４】
【数１１】
0006594222.tif 000012
【００４５】
したがって、式（11）におけるビームフォーミング出力のＰＳＤは式（16）となる。
【００４６】
【数１２】
0006594222.tif 000013
【００４７】
≪局所ＰＳＤ推定≫
図５に示すように、2つの指向特性が異なるビームフォーミング（Beamformers）をアレイ観測信号に対して畳み込むと想定する。式（16）によると、2つのビームフォーミング出力のＰＳＤは、式（17）のように行列形式で表される。
【００４８】
【数１３】
0006594222.tif 000014
【００４９】
ここで、PBF,ωとGωに含まれる要素は既知であり事前に計算できるため、直接音と残響のＰＳＤはフレームごとに推定される。
【００５０】
【数１４】
0006594222.tif 000015
【００５１】
ここで、^・は推定された値を表す。なお，^Pcmp,ωを構成するPD,ωと−PR,ωは正の値であるため、算出された結果が負値である場合には0にフロアリングする。推定したPD,ωと−PR,ωを用いて、式（19）に従って直間比Γconvを推定することができる。
【００５２】
【数１５】
0006594222.tif 000016
【００５３】
この発明では、直間比の推定精度を向上させるために、PD,ω, −PR,ωという音源特徴を入力とし、直間比Γを出力する統計的マッピングモデルを導入する。近年、統計的マッピングモデルの一つとして、ディープニューラルネットワーク（Deep Neural Network: DNN）が多く用いられているので、ここではディープニューラルネットワークを利用する。ディープニューラルネットワークについての詳細は、下記参考文献１に記載されている。
〔参考文献１〕岡谷貴之著、“深層学習”、第一版、講談社サイエンティフィク、2015年
【００５４】
この発明を直間比推定に適用する場合のポイントは、（１）推定された局所ＰＳＤや複数のビームフォーミング出力パワー群をディープニューラルネットワークの入力として直間比を出力する構成と、（２）ディープニューラルネットワークのネットワークパラメータの初期値を従来法のように物理的な特性を加味して設定する点にある。
【００５５】
［第一実施形態］
第一実施形態の直間比推定装置は、図６に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、2個のビームフォーミング部１２−１〜１２−２、局所ＰＳＤ推定部１３、およびＤＮＮマッピング部２０を備える。この直間比推定装置が後述する各ステップの処理を行うことにより第一実施形態の直間比推定方法が実現される。
【００５６】
直間比推定装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。直間比推定装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。直間比推定装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、直間比推定装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【００５７】
図７を参照して、第一実施形態の直間比推定方法の処理手続きを説明する。
【００５８】
ステップＳ１０において、M個のマイクロホン１０−１〜１０−ＭからなるマイクロホンアレイがM個の観測信号xm(n)（m=1, …, M）を収音する。ここで、nは離散時間信号のサンプル番号を表す。観測信号xm(n)は周波数領域変換部１１−１〜１１−Ｍにそれぞれ入力される。
【００５９】
ステップＳ１１において、周波数領域変換部１１−ｍ（m=1, …, M）は、各観測信号xm(n)を短い時間長（例えば、サンプリング周波数16,000Hzの場合には、256サンプル程度）のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行い周波数領域の観測信号Xm,ω,τを出力する。ここで、ωは周波数ビン番号、τは時間フレーム番号を表す。各周波数領域変換部１１−１〜１１−Ｍの出力信号群X1,ω,τ, X2,ω,τ, …, XM,ω,τはビームフォーミング部１２−１〜１２−２にそれぞれ入力される。
【００６０】
ステップＳ１２において、ビームフォーミング部１２−１〜１２−２は、各周波数領域変換部１１−１〜１１−Ｍの出力信号群X1,ω,τ, X2,ω,τ, …, XM,ω,τに対して、それぞれ異なる方向の角度領域から到来する音を強調して収音する処理を行い、結果を出力する。ビームフォーミング部１２−１は、直接音の強調に用いるものであり、あらかじめ定めた音源方向から到来する音を強調して出力信号YBF,1,ωを出力する。ビームフォーミング部１２−２は、拡散残響の解析に用いるものであり、音源方向以外の方向から到来する音を強調して出力信号YBF,2,ωを出力する。各ビームフォーミング部１２−１〜１２−２の出力信号群YBF,1,ω, YBF,2,ωは局所ＰＳＤ推定部１３に入力される。
【００６１】
ステップＳ１３において、局所ＰＳＤ推定部１３は、各ビームフォーミング部１２−１〜１２−２の出力信号群YBF,1,ω, YBF,2,ωを入力とし、上記式（18）に従って、直接音のＰＳＤPD,ωおよび残響のＰＳＤ−PR,ωを推定する。推定した直接音および残響のＰＳＤPD,ω, −PR,ωはＤＮＮマッピング部２０に入力される。
【００６２】
ステップＳ２０において、ＤＮＮマッピング部２０は、局所ＰＳＤ推定部１３の出力する直接音と残響のＰＳＤPD,ω, −PR,ωを入力とし、ネットワークパラメータzを用いて直間比の推定値Γを求め、結果を出力する。
【００６３】
以下、ＤＮＮマッピング部２０の処理を詳細に説明する。ＤＮＮマッピング部２０は、図８に示すように、N層のディープニューラルネットワークで構成される。ここでは、Nは4〜5程度でよい。まず、ディープニューラルネットワークの入力層に特徴量を設定する。
【００６４】
【数１６】
0006594222.tif 000017
【００６５】
ここで、ωQは解析FFTビン数を表す。この際、複数の周波数ビンを集約した周波数バンドの状態でも構わない。ネットワークパラメータzにZ(2), …, Z(N), b(2), …, b(N)が含まれるとすると、ディープニューラルネットワークの出力はN-1回の逐次計算により、以下のように計算される。
【００６６】
【数１７】
0006594222.tif 000018
【００６７】
ここで、n層目のレイヤー数をJnと記述するとき、
【００６８】
【数１８】
0006594222.tif 000019
【００６９】
である。活性化関数f(n)(・)は、式（28）のように、シグモイド関数（sigmoid function）(n=2, …, N-1の場合)と恒等写像関数（n=Nの場合）を併用する。
【００７０】
【数１９】
0006594222.tif 000020
【００７１】
N層目のレイヤー数をJN=1とし、推定された直間比Γは式（29）となる。
【００７２】
【数２０】
0006594222.tif 000021
【００７３】
以後、q(1)を入力としネットワークパラメータzを用いて推定した直間比をΓ(q(1); z)と表記する。
【００７４】
ディープニューラルネットワークは、Hintonらのディープブリーフネット（deep brief network: DBN）の研究により、多層ニューラルネットの事前学習（pre-training）を適切に行い、ネットワークパラメータの初期値をうまく設定できるようになったことにより、様々な分野で利用されるようになった。ディープブリーフネットでは、制約ボルツマンマシン（restricted Boltzmann machine: RBM）を多層にスタックし（stacked RBMs）、一層ごとにネットワーパラメータの初期値を推定する。なお、各制約ボルツマンマシンのネットワークパラメータの更新量を適切に計算するためには、例えば、コンストラティブダイバージェンス法（contrastive divergence: CD）を用いればよい。
【００７５】
以下、ディープニューラルネットワークの最適化方法について説明する。第一実施形態では、ネットワークパラメータzの初期値をランダムに設定し、誤差逆伝搬（back propagation）に基づいて、直間比の推定誤差を最小とするようにネットワークパラメータzを最適化する。K個のサンプルデータで構成された学習用の局所ＰＳＤと直間比の正解値とからなる教師情報を、式（30）のように記載する。
【００７６】
【数２１】
0006594222.tif 000022
【００７７】
式（21）（22）の各ステップをK個のサンプルデータに対して適用するとき、以下のように行列形式で書くことができる。
【００７８】
【数２２】
0006594222.tif 000023
【００７９】
ここで、b(n)1KTはb(n)をK個分並べる操作を表し、
【００８０】
【数２３】
0006594222.tif 000024
【００８１】
である。
【００８２】
ディープニューラルネットワークの出力と正解として与えた直間比との誤差を測るための尺度として、式（35）で定義される二乗誤差関数を用いる。
【００８３】
【数２４】
0006594222.tif 000025
【００８４】
誤差逆伝搬に基づいて、出力層（n=N）から入力層（n=1）に向かって逐次的にネットワークパラメータの勾配を算出する。−Γ=[−Γ1, …, −ΓK]とするとき、n番目の層における各サンプルデータにおけるデルタΔ(n)を以下のように求める。
【００８５】
【数２５】
0006594222.tif 000026
【００８６】
ここで、f'(・)は関数f(・)の微分であり、
【００８７】
【数２６】
0006594222.tif 000027
【００８８】
は行列の各成分の積を表す。誤差関数の勾配を以下のように計算する。
【００８９】
【数２７】
0006594222.tif 000028
【００９０】
最後に、求めた勾配を基にパラメータを更新する。
【００９１】
【数２８】
0006594222.tif 000029
【００９２】
なお、更新量ΔZ(n), Δb(n)は、以下とすればよい。
【００９３】
【数２９】
0006594222.tif 000030
【００９４】
ここで、ΔZ(n)+, Δb(n)+は前回の更新量、εは学習係数、μは汎化性能を向上し学習を速く進めるためのモメンタム（momentum）の係数、λは重み減衰（weight decay）である。εは0.01程度、μは0.9程度、λは0.0002程度に設定すればよい。
【００９５】
［第二実施形態］
第一実施形態では、直接音のＰＳＤPD,ωと残響のＰＳＤ−PR,ωを入力として、直間比の推定値Γを出力するN層のディープニューラルネットワークを用いる構成を説明した。第二実施形態では、次式のように複数のビームフォーミング出力を入力として、直間比の推定値Γを出力するN層のディープニューラルネットワークを用いる構成を説明する。
【００９６】
【数３０】
0006594222.tif 000031
【００９７】
第二実施形態の直間比推定装置は、図９に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、2個のビームフォーミング部１２−１〜１２−２を第一実施形態と同様に備え、さらにＤＮＮマッピング部２１を含む。第一実施形態の直間比推定装置が備えていた局所ＰＳＤ推定部１３は備えておらず、ビームフォーミング部１２−１〜１２−２の出力がＤＮＮマッピング部２１へ入力されるように構成される。この直間比推定装置が後述する各ステップの処理を行うことにより第二実施形態の直間比推定方法が実現される。
【００９８】
ステップＳ２１において、ＤＮＮマッピング部２１は、各ビームフォーミング部１２−１〜１２−２の出力信号群YBF,1,ω, YBF,2,ωを入力とし、ネットワークパラメータzを用いて直間比の推定値Γを求め、結果を出力する。ＤＮＮマッピング部２１は、K個のサンプルデータで構成された、学習用のビームフォーミング出力と直間比の正解値とからなる教師情報を用いて、第一実施形態と同様に最適化を行ったものである。
【００９９】
［第三実施形態］
第一実施形態および第二実施形態では、ネットワークパラメータzの初期値をランダムに設定した。第三実施形態では、従来法のように物理的な特性を加味してネットワークパラメータzの初期値を設定する方法について説明する。従来法における直間比推定技術は大きく以下の3ステップで構成されている。
【０１００】
（ステップ１：局所ＰＳＤ推定処理）式（18）のように、2つ以上のビームフォーミングの出力パワー群PBF,ωから局所ＰＳＤの推定値^Pcmp,ωを求める。
【０１０１】
（ステップ２：周波数加算処理）式（19）に含まれるように、局所ＰＳＤの推定値^Pcmp,ωを全周波数帯域にわたって足すことでΣωPD,ω, ΣωPR,ωを出力する。
【０１０２】
（ステップ３：対数領域比計算処理）式（19）のように、ΣωPD,ω, ΣωPR,ωから直間比の推定値^Γを以下のように出力する。
【０１０３】
【数３１】
0006594222.tif 000032
【０１０４】
以上の3ステップの処理が各層の処理に物理的に対応しているとみなすことができるため、ランダムに設定するよりも良質なネットワークパラメータの初期値を与えることができる。第三実施形態では、第二実施形態の直間比推定装置において、ネットワークパラメータzの初期値を設定するように構成する。なお、最適化処理については第二実施形態と同様である。
【０１０５】
第三実施形態の直間比推定装置は、図１０に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、2個のビームフォーミング部１２−１〜１２−２、およびＤＮＮマッピング部２１を第二実施形態と同様に備え、さらに初期値設定部３１を備える。この直間比推定装置が後述する各ステップの処理を行うことにより第三実施形態の直間比推定方法が実現される。
【０１０６】
初期値設定部３１は、以下のようにして、ＤＮＮマッピング部２１の各層に対応するネットワークパラメータの初期値を設定する。入力層の値は、第二実施形態と同様に、次式のように設定する。
【０１０７】
【数３２】
0006594222.tif 000033
【０１０８】
2層目の処理は、（ステップ１：局所ＰＳＤ推定処理）が対応する。2層目のレイヤー数はJ2≧L×Qとなるようにする。Lはビームフォーミング数であり、Qは周波数ビン数である。以下では、L=2として説明する。以下のようにネットワークパラメータを書き表すことで、局所ＰＳＤ推定処理を表現することができる。
【０１０９】
【数３３】
0006594222.tif 000034
【０１１０】
なお、G2とB2は値幅調整係数である。Z(2)q(1)の最大値が1〜5程度になるようにG2を設定する。また、Z(2)q(1)の出力値が0以下である場合に値を0付近にフロアリングするために、B2は-5〜0の間に設定する。その後、以下の計算をすることで、2層目の出力q(2)を得る。
【０１１１】
【数３４】
0006594222.tif 000035
【０１１２】
3層目の処理は、（ステップ２：周波数加算処理）が対応する。以下のようにネットワークパラメータを書き表すことで、周波数加算処理を表現することができる。なお、3層目のレイヤー数はJ3≧2となるようにする。
【０１１３】
【数３５】
0006594222.tif 000036
【０１１４】
なお、G3とB3は値幅調整係数である。Z(3)q(2)の最大値が1〜5程度になるようにG3を設定する。また、B3は0程度で問題ない。その後、式（52）（53）の計算をすることで、3層目の出力q(3)を得る。
【０１１５】
【数３６】
0006594222.tif 000037
【０１１６】
4層目の処理は、（ステップ３：対数領域比計算処理）が対応する。以下のようにネットワークパラメータを書き表すことで、対数領域比計算処理を表現することができる。なお、4層目（出力層）のレイヤー数はJ4=1である。
【０１１７】
【数３７】
0006594222.tif 000038
【０１１８】
ここで、式（44）に対応させるため、Z1,1(4)は正の値、Z1,2(4)は負の値に制限される。例えば、以下のようにして値を決める。
【０１１９】
【数３８】
0006594222.tif 000039
【０１２０】
このとき、参照している10log10(ΣωPD,ω)や10log10(ΣωPR,ω)は、1つのサンプルで計算されたものを利用してもよいし、多数のサンプルで計算された値の平均値を利用してもよい。
【０１２１】
最後に、出力値を以下のように算出する。
【０１２２】
【数３９】
0006594222.tif 000040
【０１２３】
上述したネットワークパラメータの初期値設定法では、層の数は信号処理演算の最小単位数+1以上に設定したほうがよいため、N≧4とすることが望ましい。上記では、N=4とみなして説明したが、Nを4よりも多くしたい場合には、冗長な層を挟めばよい。ここで、信号処理演算の最小単位数とは、同等の信号処理演算（ここでは、直間比推定処理）を従来の決定論的な手法で実行するときに必要となる、加算や乗算などの信号処理演算の数を意味している。
【０１２４】
［第四実施形態］
第三実施形態では、第二実施形態の直間比推定装置において、ネットワークパラメータzの初期値を設定する構成を説明した。第四実施形態では、第一実施形態の直間比推定装置において、ネットワークパラメータzの初期値を設定するように構成する。なお、最適化処理については第一実施形態と同様である。
【０１２５】
第四実施形態の直間比推定装置は、図１１に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、2個のビームフォーミング部１２−１〜１２−２、局所ＰＳＤ推定部１３、およびＤＮＮマッピング部２０を第一実施形態と同様に備え、さらに初期値設定部３０を備える。この直間比推定装置が後述する各ステップの処理を行うことにより第四実施形態の直間比推定方法が実現される。
【０１２６】
第三実施形態では、2層目の処理が局所ＰＳＤ推定処理に対応していることを説明した。したがって、第四実施形態では、3層目以降の初期値設定を用いればよいということになる。入力層の値は、第一実施形態と同様に、式（60）のように設定する。
【０１２７】
【数４０】
0006594222.tif 000041
【０１２８】
式（50）以降の処理を2層目、3層目の初期値として設定すればよいことになる。なお、第三実施形態ではN≧4に設定したほうがよいと説明したが、層の数を信号処理演算の最小単位数+1以上に設定する考え方は同様であるため、第四実施形態ではN≧3に設定することが望ましい。
【０１２９】
第三実施形態や第四実施形態のように、ネットワークパラメータの初期値を適切に設定することで、各層の物理的な意味合いを持ちつつ、パラメータ最適化が可能になる。その結果、学習データがある程度少なくても外れ値を出力する可能性が減る効果が期待される。つまり、学習データが少なくても環境に依存しにくいディープニューラルネットワークを設計することができる効果がある。
【０１３０】
＜音源強調技術＞
最初に、従来の決定論的手法による音源強調技術を詳細に説明し、続いて、この発明の音源情報推定技術を適用した音源強調技術の実施形態を説明する。
【０１３１】
≪観測信号のモデリング≫
音場にK個の音源が存在し、M（≧2）個のマイクロホンを用いて観測する。この状況は、多入力多出力系（multiple-inputs and multiple-outputs: MIMO）の一つとして見なすことができる。k番目の音源とm番目のマイクロホン間の伝達特性をAm,k,ωとすると、M個の観測信号xω,τは式（61）のように計算できる。
【０１３２】
【数４１】
0006594222.tif 000042
【０１３３】
ここで、式（61）は以下の要素で構成される。
【０１３４】
【数４２】
0006594222.tif 000043
【０１３５】
ここで、k番目の音源をSk,ω,τ、m番目のマイクロホンにおける非方向性の背景雑音をNm,ω,τとして記述した。また、音源や背景雑音の平均値やパワーの期待値が以下を満たすことを仮定する。
【０１３６】
【数４３】
0006594222.tif 000044
【０１３７】
ここで、<・>は期待値演算子を表す。また、Sk,ω,τやNm,ω,τが互いに無相関であることを仮定すると、以下のようになる。
【０１３８】
【数４４】
0006594222.tif 000045
【０１３９】
ここで、・*（上付き添え字の*）は複素共役を表す。以上の統計的な性質を満たす場合には、音源信号や背景雑音の分散共分散行列は以下のようにモデル化される。
【０１４０】
【数４５】
0006594222.tif 000046
【０１４１】
ここで、・H（上付き添え字のH）は共役転置、IKはK次元の単位行列、IMはM次元の単位行列である。
【０１４２】
観測信号xω,τの分散共分散行列（以後、空間相関行列と呼ぶ）は，以下でモデル化される。
【０１４３】
【数４６】
0006594222.tif 000047
【０１４４】
ここで、RA,ωは各マイクロホンにおける受音パワーσ2A,ω（事前にチャネルのレベルが正規化されていることを想定）とチャネル間相関Γi,j,ωで構成される。
【０１４５】
【数４７】
0006594222.tif 000048
【０１４６】
以後、従来の音源強調技術を構成する、受音系設計技術、ビームフォーミング、およびウィーナーフィルタリングについて順に説明する。受音系設計技術は、目的の音源群を詳細に解析するための受音技術（ハードウェア）である。ビームフォーミングは、受音した観測信号群を処理するための信号処理技術である。ウィーナーフィルタリングは、ビームフォーミング後の信号に対して、更なる雑音抑圧を行うための技術である。これらの技術群を下記のように任意に組み合わせて実装することが従来技術である。
実装形態１：受音設計技術＋ビームフォーミング＋ウィーナーフィルタリング
実装形態２：受音設計技術＋ビームフォーミング
実装形態３：（汎用マイク）＋ビームフォーミング
実装形態４：（汎用マイク）＋ビームフォーミング＋ウィーナーフィルタリング
【０１４７】
≪相互情報量増大型受音系設計技術≫
参考文献２には、（１）音源信号を分離して収音しやすくなるような受音信号の性質と、（２）一つの実装形態として多凹型反射板を用いた受音系について説明されている。
〔参考文献２〕K. Niwa, T. Kako, and K. Kobayashi, “Microphone array for increasing mutual information between sound sources and observation signals,” ICASSP 2015, pp. 534-538, 2015.
【０１４８】
参考文献２に記載された技術では、詳細に解析したいsω,τについてxω,τがどのくらい情報を教示してくれるのかを測るために、sω,τとxω,τの相互情報量Is;xを定義する。
【０１４９】
【数４８】
0006594222.tif 000049
【０１５０】
ここで、Hsは伝送情報量のエントロピー、Hs|xは伝送損失を表す。仮に、Aωが正則な行列でない場合や、背景雑音のレベルが高い場合には、伝送損失Hs|xが増加する。Is;xが最大化するような空間相関行列を調査するために、チャネル容量Cωを導入する。
【０１５１】
【数４９】
0006594222.tif 000050
【０１５２】
RA,ωを固有値分解することで、Cωは以下で表現される。
【０１５３】
【数５０】
0006594222.tif 000051
【０１５４】
ここで、Λm,ωは、RA,ωのm番目の固有値である。参考文献２によると、Cωは以下のように固有値分布が平滑化されるように信号を受音することで最大化される。
【０１５５】
【数５１】
0006594222.tif 000052
【０１５６】
式（82）のように固有値が平滑化されるように音を受音することは、チャネル間相関が0になるように受音することに相当する。
【０１５７】
【数５２】
0006594222.tif 000053
【０１５８】
もし、Is;xが増加すれば、音源を分離するための手がかりが観測信号群に含まれるはずである。
【０１５９】
相互情報量Is;xを増加するための受音系として、（１）拡散受音系（下記参考文献３参照）や、（２）多凹型反射板を用いた受音系（上記参考文献２参照）がある。拡散受音系は，拡散場でマイクロホンを離散して配置することでチャネル間相関が低下する物理現象を利用する、多マイクロホンを囲うように多反射板を設置するアレイである。多凹型反射板を用いた受音系を図１２に示す。パラボラ反射板の焦点付近に準最適にマイクロホンを複数設置されている。焦点付近では，パラボラ反射板により反射された音波が様々な方向、時間差で到来する。焦点位置から少しずれた位置にマイクロホンを設置することで、受音する音の振幅や位相が劇的に変化する。そのため、マイクロホンの位置を最適に設定すれば、相互情報量Is;xが増加する。図１２の受音系では、相互情報量が増加するように、12枚の各パラボラ反射板の前に8本のマイクロホンを準最適に設置し、計M=96本の無指向性マイクロホンが実装されている。
〔参考文献３〕K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, “Diffused sensing for sharp directive beamforming,” IEEE Trans. on Audio, Speech and Language Proc., vol. 21, pp. 2346-2355, 2013.
【０１６０】
≪音源強調法１：ビームフォーミング≫
ビームフォーミングに基づく音源強調法について説明する。ビームフォーミングは、マイクロホン間に生じる位相／振幅差を操作し、加算することで、特定の方向から到来する音源を強調する方法である。観測信号群xω,τに対して、i番目の方向から到来する音源を強調するフィルタwi,ωを掛け合わせることで、出力信号Yi,ω,τを得る。
【０１６１】
【数５３】
0006594222.tif 000054
【０１６２】
ここで、
【０１６３】
【数５４】
0006594222.tif 000055
【０１６４】
である。
【０１６５】
フィルタの代表的な設計法には遅延和法と最小分散法があるため、以下で説明する。まず、i番目の方向から到来した音波を受音したときのマイクロホン間の位相／振幅差の関係をモデル化する。以後、それをステアリングベクトルhi,ωと呼ぶ。
【０１６６】
【数５５】
0006594222.tif 000056
【０１６７】
汎用性のマイクロホンアレイ（無指向性のマイクを中空に配置）を用い、かつ、音源とマイクロホンの距離が（例えば、1メートル以上）離れている場合、ステアリングベクトルを以下のようにモデル化できる。
【０１６８】
【数５６】
0006594222.tif 000057
【０１６９】
ここで、cは音速（秒速およそ340メートル）、pi=[pX,i, pY,i, pZ,i]Tはi番目の音源の位置ベクトル、pm=[pX,m, pY,m, pZ,m]Tはm番目のマイクロホンの位置ベクトルを表す。また、相互情報量増大型のマイクロホンアレイを用いる場合には、ステアリングベクトルとして、伝達特性を用いる。
【０１７０】
【数５７】
0006594222.tif 000058
【０１７１】
ただし、実測したインパルス応答は部屋の残響を含み、長くなる傾向がある。そのため、直接波が到来してから短い区間を切り出したデータを利用してもよいし、シミュレーションで算出したデータを利用してもよい。
【０１７２】
上記のステアリングを利用して、式（89）の計算をすることで、遅延和フィルタが計算される。
【０１７３】
【数５８】
0006594222.tif 000059
【０１７４】
最小分散法によりフィルタを設計する場合は、式（90）を計算する。
【０１７５】
【数５９】
0006594222.tif 000060
【０１７６】
ここで、RH,ωはステアリングを用いて設計した空間相関行列である。
【０１７７】
【数６０】
0006594222.tif 000061
【０１７８】
ここで、
【０１７９】
【数６１】
0006594222.tif 000062
【０１８０】
である。時間領域のビームフォーミング後の出力信号は、Yi,ω,τに対して短時間逆フーリエ変換をすることで得られる。
【０１８１】
≪音源強調法２：局所ＰＳＤ推定に基づくウィーナーフィルタリング≫
更に高い精度で雑音抑圧を実施するために、ビームフォーミングの出力信号Yi,ω,τに対してウィーナーフィルタを掛け合わせる方法について説明する。i番目の音源を強調するためのウィーナーフィルタをGi,ω,τとするとき、出力信号Zi,ω,τは式（93）で得られる。
【０１８２】
【数６２】
0006594222.tif 000063
【０１８３】
Gi,ω,τはフレームごとに変化する量であり、式（94）で計算される。
【０１８４】
【数６３】
0006594222.tif 000064
【０１８５】
ここで、^φS,ω,τは、ビームフォーミング後の信号に含まれる目的音のＰＳＤの推定値、^φN,ω,τは雑音のＰＳＤの推定値を表す。また、^ξω,τ=^φS,ω,τ/^φN,ω,τは、ビームフォーミング後の信号におけるＳＮ比（signal-noise ratio）（以後、事前ＳＮＲと呼ぶ）の推定値を表す。いずれもウィーナーフィルタを設計するために、観測信号群xω,τから求める必要がある。
【０１８６】
観測信号群から目的音と雑音のＰＳＤを求めるための従来方式として、局所ＰＳＤ推定法がある（下記参考文献４、５参照）。
〔参考文献４〕Y. Hioka, K. Furuya, K. Kobayashi, K. Niwa, and Y. Haneda, “Underdetermined sound source separation using power spectrum density estimated by combination of directivity gain,” in Proc. IEEE Trans. on Audio, Speech, and Language Proc., vol. 21, pp. 1240-1250, 2013.
〔参考文献５〕K. Niwa, Y. Hioka, and K. Kobayashi, “Post-filter design for speech enhancement in various noisy environments,” in Proc. IWAENC 2014, pp. 36-40, 2014.
【０１８７】
上述したように、観測信号xω,τにビームフォーミングを適用することで、特定の方向や位置から到来した音源を強調して収音した信号を得られる。目的音だけでなく雑音の情報も解析して目的音と雑音のＰＳＤを推定するために、L（≧2）個のビームフォーミングを用いる。l（=1, …, L）番目のビームフォーミングがζ(l)番目の位置にある音源を強調して収音するとし、l番目のビームフォーミング信号をYζ(l),ω,τと表す。複数のビームフォーミング出力信号群をyω,τ=[Yζ(1),ω,τ, …, Yζ(L),ω,τ]Tと表す。なお、ζ(1)=iとし、1番目のビームフォーミング出力は必ず目的音を強調しているものとする。音源信号が互いに無相関であることを仮定できる場合、l番目のビームフォーミング出力信号のＰＳＤは、式（95）でモデル化される。
【０１８８】
【数６４】
0006594222.tif 000065
【０１８９】
ここで、φSk,ωは、k番目の音源のＰＳＤを表す。また、Dζ(l),k,ωは、l番目のビームフォーミングのk番目の音源の位置に対する空間的な感度の平均を表す。L個のφYζ(l),ωとK個のφSk,ωの関係は式（96）でモデル化される。
【０１９０】
【数６５】
0006594222.tif 000066
【０１９１】
なお、音源数Kは事前に正確に推定することが困難な場合も多いため、K≒Lと仮定して、適当に雑音が到来すると想定される場所を強調して収音したビームフォーミング信号群を利用してもよい。
【０１９２】
L個の局所ＰＳＤを推定するために、式（96）の逆問題を解く。時間的なスパース性が非常に高く、音源信号が互いに無相関であることが仮定できる場合、式（96）の関係が時間フレームごとに成り立つと仮定できる。式（97）により、フレーム毎に音源信号のＰＳＤを推定することができる。
【０１９３】
【数６６】
0006594222.tif 000067
【０１９４】
推定した局所ＰＳＤ^ΦS,ω,τから^φS,ω,τと^φN,ω,τを計算することで、ウィーナーフィルタを逐次計算できる。
【０１９５】
【数６７】
0006594222.tif 000068
【０１９６】
ここで、αN,k,ωは調整用の係数であり、出力値から経験的に決められることが多い。
【０１９７】
この発明では、クリアに目的音源を強調した信号を出力するために、ビームフォーミング後の信号群や推定された局所ＰＳＤ^ΦS,ω,τを入力特徴量とし、事前ＳＮＲ^ξω,τを出力する統計的マッピングモデルを導入する。近年、統計的マッピングモデルの一つとして、ディープニューラルネットワークが多く用いられているので、ここではディープニューラルネットワークを利用する。
【０１９８】
この発明を音源強調に適用する場合のポイントは、（１）推定された局所ＰＳＤや複数のビームフォーミング出力パワー群をディープニューラルネットワークの入力として事前ＳＮＲを出力する構成と、（２）ディープニューラルネットワークのネットワークパラメータの初期値を従来法のように物理的な特性を加味して設定する点にある。
【０１９９】
［第五実施形態］
第五実施形態の音源強調装置は、図１３に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、L個のビームフォーミング部１２−１〜１２−Ｌ、局所ＰＳＤ推定部１３、ＤＮＮマッピング部２２、およびフィルタリング部１６を備える。この音源強調装置が後述する各ステップの処理を行うことにより第五実施形態の音源強調方法が実現される。
【０２００】
音源強調装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音源強調装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音源強調装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。また、音源強調装置の各処理部の少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
【０２０１】
図１４を参照して、第五実施形態の音源強調方法の処理手続きを説明する。
【０２０２】
ステップＳ１０において、M個のマイクロホン１０−１〜１０−ＭからなるマイクロホンアレイがM個の観測信号xm(n)（m=1, …, M）を収音する。ここで、nは離散時間信号のサンプル番号を表す。観測信号xm(n)は周波数領域変換部１１−１〜１１−Ｍにそれぞれ入力される。
【０２０３】
ステップＳ１１において、周波数領域変換部１１−ｍ（m=1, …, M）は、各観測信号xm(n)を短い時間長（例えば、サンプリング周波数16,000Hzの場合には、256サンプル程度）のフレームに分解し、それぞれのフレームにおいて離散フーリエ変換を行い周波数領域の観測信号Xm,ω,τを出力する。ここで、ωは周波数ビン番号を表し、τはフレーム番号を表す。各周波数領域変換部１１−１〜１１−Ｍの出力信号群X1,ω,τ, X2,ω,τ, …, XM,ω,τはビームフォーミング部１２−１〜１２−Ｌにそれぞれ入力される。
【０２０４】
ステップＳ１２において、ビームフォーミング部１２−ｌ〜１２−Ｌは、各周波数領域変換部１１−１〜１１−Ｍの出力信号群X1,ω,τ, X2,ω,τ, …, XM,ω,τに対して、それぞれ異なる方向の角度領域から到来する音を強調して収音する処理を行い、結果を出力する。ビームフォーミング部１２−１は、直接音の強調に用いるものであり、あらかじめ定めた音源方向から到来する音を強調して出力信号Yζ(1),ω,τを出力する。残りのビームフォーミング部１２−２〜１２−Ｌは、拡散残響の解析に用いるものであり、音源方向以外の方向から到来する音を強調して出力信号群Yζ(2),ω,τ, …, Yζ(L),ω,τを出力する。各ビームフォーミング部１２−１〜１２−Ｌの出力信号群Yζ(1),ω,τ, …, Yζ(L),ω,τは局所ＰＳＤ推定部１３に入力される。
【０２０５】
ステップＳ１３において、局所ＰＳＤ推定部１３は、各ビームフォーミング部１２−１〜１２−Ｌの出力信号群Yζ(1),ω,τ, …, Yζ(L),ω,τを入力とし、上記式（97）に従って、局所ＰＳＤ^ΦS,ω,τを推定する。推定した局所ＰＳＤ^ΦS,ω,τはＤＮＮマッピング部２２に入力される。
【０２０６】
ステップＳ２２において、ＤＮＮマッピング部２２は、局所ＰＳＤ推定部１３の出力する局所ＰＳＤ^ΦS,ω,τを入力とし、ネットワークパラメータzωiを用いて事前ＳＮＲの推定値^ξω,τ=^φS,ω,τ/^φN,ω,τを求め、結果を出力する。
【０２０７】
以下、ＤＮＮマッピング部２２の処理を詳細に説明する。ＤＮＮマッピング部２２は、直間比推定の場合と同様に、N層のディープニューラルネットワークで構成される。Nは4〜5程度でよい。まず、ディープニューラルネットワークの入力層に特徴量を設定する。
【０２０８】
【数６８】
0006594222.tif 000069
【０２０９】
このときのベクトルqωi(1)の次元（ノード数）は、J1=K×Qである。ネットワークパラメータzωiにZωi(2), …, Zωi(N), bωi(2), …, bωi(N)が含まれるとすると、N-1回の逐次計算により、以下のように計算される。
【０２１０】
【数６９】
0006594222.tif 000070
【０２１１】
ここで、n層目のレイヤー数をJnと記述するとき、
【０２１２】
【数７０】
0006594222.tif 000071
【０２１３】
である。活性化関数f(n)(・)は、式（108）のように、シグモイド関数（sigmoid function）(n=2, …, N-1の場合)と恒等写像関数（n=Nの場合）を併用する。
【０２１４】
【数７１】
0006594222.tif 000072
【０２１５】
N層目のレイヤー数をJN=1とし、推定された事前ＳＮＲは式（109）となる。
【０２１６】
【数７２】
0006594222.tif 000073
【０２１７】
以後、qωi(1)を入力としネットワークパラメータzωiを用いて推定した事前ＳＮＲをζ(qωi(1); zωi)と表記する。ネットワークパラメータは各周波数ビンかつ各帯域で学習し設計することとする。
【０２１８】
以下、ディープニューラルネットワークの最適化方法について説明する。第五実施形態では、ネットワークパラメータzωiの初期値をランダムに設定し、誤差逆伝搬（back propagation）に基づいて、事前ＳＮＲの推定誤差を最小とするように、ネットワークパラメータzωiを最適化する。時間フレーム方向も含め多数の観測信号サンプルデータを用意し、計Θ個のデータで構成された学習用の局所ＰＳＤと事前ＳＮＲの正解値とからなる教師情報を、以下のように記載する。
【０２１９】
【数７３】
0006594222.tif 000074
【０２２０】
式（101）（102）の各ステップをΘ個のサンプルデータに対して適用するとき、以下のように行列形式で書くことができる。
【０２２１】
【数７４】
0006594222.tif 000075
【０２２２】
ここで、bωi(n)1ΘTはbωi(n)をΘ個分並べる操作を表し、
【０２２３】
【数７５】
0006594222.tif 000076
【０２２４】
である。
【０２２５】
ディープニューラルネットワークの出力と正解として与えた事前ＳＮＲとの誤差を測るための尺度として、式（115）で定義される二乗誤差関数を用いる。
【０２２６】
【数７６】
0006594222.tif 000077
【０２２７】
誤差逆伝搬に基づいて、出力層（n=N）から入力層（n=1）に向かって逐次的にネットワークパラメータの勾配を算出する。−Ξωi=[−ξωi,1, …, −ξωi,Θ]とするとき、n番目の層における各サンプルデータおけるデルタΔωi,(n)を以下のように求める。
【０２２８】
【数７７】
0006594222.tif 000078
【０２２９】
ここで、f'(・)は関数f(・)の微分であり、
【０２３０】
【数７８】
0006594222.tif 000079
【０２３１】
は行列の各成分の積を表す。誤差関数の勾配を以下のように計算する。
【０２３２】
【数７９】
0006594222.tif 000080
【０２３３】
最後に、求めた勾配を基にパラメータを更新する。
【０２３４】
【数８０】
0006594222.tif 000081
【０２３５】
なお、更新量ΔZωi(n), Δbωi(n)は、以下とすればよい。
【０２３６】
【数８１】
0006594222.tif 000082
【０２３７】
ここで、ΔZωi(n)+, Δbωi(n)+は前回の更新量、εは学習係数、μは汎化性能を向上し学習を速く進めるためのモメンタム（momentum）の係数、λは重み減衰（weight decay）である。εは0.01程度、μは0.9程度、λは0.0002程度に設定すればよい。
【０２３８】
ステップＳ１６において、フィルタリング部１６は、ＤＮＮマッピング部２２の出力する事前ＳＮＲの推定値^ξω,τを入力とし、上記式（94）に従ってウィーナーフィルタを計算し、上記式（93）に従ってビームフォーミング出力信号群Yζ(1),ω,τ, …, Yζ(L),ω,τにウィーナーフィルタを掛け合わせることで、出力信号Zi,ω,τを出力する。
【０２３９】
［第六実施形態］
第五実施形態では、局所ＰＳＤ^ΦS,ω,τを入力として、事前ＳＮＲの推定値^ξω,τを出力するN層のディープニューラルネットワークを各周波数ビンかつ各帯域で設計する構成を説明した。第六実施形態では、次式のように複数のビームフォーミング出力を入力として、事前ＳＮＲの推定値を出力するN層のディープニューラルネットワークを用いる構成を説明する。
【０２４０】
【数８２】
0006594222.tif 000083
【０２４１】
第六実施形態の音源強調装置は、図１５に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、L個のビームフォーミング部１２−１〜１２−Ｌ、およびフィルタリング部１６を第五実施形態と同様に備え、さらにＤＮＮマッピング部２３を備える。第五実施形態の音源強調装置が備えていた局所ＰＳＤ推定部１３は備えておらず、ビームフォーミング部１２−１〜１２−Ｌの出力がＤＮＮマッピング部２３へ入力されるように構成される。この音源強調装置が後述する各ステップの処理を行うことにより第六実施形態の音源強調方法が実現される。
【０２４２】
ステップＳ２３において、ＤＮＮマッピング部２３は、各ビームフォーミング部１２−１〜１２−Ｌの出力信号群Yζ(1),ω,τ, …, Yζ(L),ω,τを入力とし、ネットワークパラメータzωiを用いて事前ＳＮＲの推定値^ξω,τを求め、結果を出力する。ＤＮＮマッピング部２３は、Θ個のサンプルデータで構成された、学習用のビームフォーミング出力と事前ＳＮＲの正解値とからなる教師情報を用いて、第五実施形態と同様に最適化を行ったものである。
【０２４３】
［第七実施形態］
第五実施形態および第六実施形態では、ネットワークパラメータzωiの初期値をランダムに設定した。第七実施形態では、従来法のように物理的な特性を加味してネットワークパラメータzωiの初期値を設定する方法について説明する。従来法における事前ＳＮＲ推定技術は大きく以下の3ステップで構成されている。
【０２４４】
（ステップ１：局所ＰＳＤ推定処理）式（97）のように、2つ以上のビームフォーミングの出力パワー群φYζ(i),ωi,τから局所ＰＳＤの推定値^ΦS,ω,τを求める。
【０２４５】
（ステップ２：加算処理）式（98）（99）のように、ビームフォーミング出力における目的音と雑音のＰＳＤ^φS,ω,τ, ^φN,ω,τを出力する。
【０２４６】
（ステップ３：対数領域比計算処理）式（124）のように、^φS,ω,τ, ^φN,ω,τから事前ＳＮＲの推定値^ξω,τを以下のように出力する。
【０２４７】
【数８３】
0006594222.tif 000084
【０２４８】
以上の3ステップの処理が各層の処理に物理的に対応しているとみなすことができるため、ランダムに設定するよりも良質なネットワークパラメータの初期値を決めることができる。第七実施形態では、第六実施形態の音源強調装置において、ネットワークパラメータzωiの初期値を設定するように構成する。なお、最適化処理については第六実施形態と同様である。
【０２４９】
第七実施形態の音源強調装置は、図１６に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、L個のビームフォーミング部１２−１〜１２−Ｌ、フィルタリング部１６、およびＤＮＮマッピング部２３を第六実施形態と同様に備え、さらに初期値設定部３３を備える。この音源強調装置が後述する各ステップの処理を行うことにより第七実施形態の音源強調方法が実現される。
【０２５０】
初期値設定部３３は、以下のようにして、ＤＮＮマッピング部２３の各層に対応するネットワークパラメータの初期値を設定する。入力層の値は、第六実施形態と同様に、次式のように設定する。
【０２５１】
【数８４】
0006594222.tif 000085
【０２５２】
2層目の処理は、（ステップ１：局所ＰＳＤ推定処理）が対応する。2層目のレイヤー数はJ2≧L×Qとなるようにする。Lはビームフォーミング数であり、Qは周波数ビン数である。式（97）に含まれるDω-1の要素を以下のように定義する。
【０２５３】
【数８５】
0006594222.tif 000086
【０２５４】
ここで、・-1は、L=Kの場合は逆行列を表し、L≠Kの場合は擬似逆行列を表す。
【０２５５】
対応する係数をネットワークパラメータに代入することで、2層目の初期値を設定することができる。
【０２５６】
【数８６】
0006594222.tif 000087
【０２５７】
なお、Gωi,2とBωi,2は値幅調整係数である。Zωi(2)qωi(1)の最大値が1〜5程度になるようにGωi,2を設定する。また、Zωi(2)qωi(1)の出力値が0以下である場合に値を0付近にフロアリングするために、Bωi,2は-5〜0の間に設定する。その後、以下の計算をすることで、2層目の出力qωi(2)を得る。
【０２５８】
【数８７】
0006594222.tif 000088
【０２５９】
3層目の処理は、（ステップ２：加算処理）が対応する。以下のようにネットワークパラメータを書き表すことで、加算処理を表現することができる。なお、3層目のレイヤー数はJ3≧2となるようにする。
【０２６０】
【数８８】
0006594222.tif 000089
【０２６１】
なお、Gωi,3とBωi,3は値幅調整係数である。Zωi(3)qωi(2)の最大値が1〜5程度になるようにGωi,3を設定する。また、Bωi,3は0程度で問題ない。その後、式（133）（134）の計算をすることで、3層目の出力qωi(3)を得る。
【０２６２】
【数８９】
0006594222.tif 000090
【０２６３】
4層目の処理は、（ステップ３：対数領域比計算処理）が対応する。以下のようにネットワークパラメータを書き表すことで、対数領域比計算処理を表現することができる。なお、4層目（出力層）のレイヤー数はJ4=1である。
【０２６４】
【数９０】
0006594222.tif 000091
【０２６５】
ここで、式（124）に対応させるため、Zωi,1,1(4)は正の値、Zωi,1,2(4)は負の値に制限される。例えば、以下のようにして値を決める。
【０２６６】
【数９１】
0006594222.tif 000092
【０２６７】
このとき、参照している^φS,ω,τや^φN,ω,τは、1つのサンプルで計算されたものを利用してもよいし、多数のサンプルで計算された値の平均値を利用してもよい。また、調整係数gωi,4は、次式のように求める。
【０２６８】
【数９２】
0006594222.tif 000093
【０２６９】
最後に、出力値を以下のように算出する。
【０２７０】
【数９３】
0006594222.tif 000094
【０２７１】
上述したネットワークパラメータの初期値設定法では、層の数は信号処理演算の最小単位数+1以上に設定したほうがよいため、N≧4とすることが望ましい。上記では、N=4とみなして説明したが、仮にNを4よりも多くしたい場合には、冗長な層を挟めばよい。ここで、信号処理演算の最小単位数とは、同等の信号処理演算（ここでは、事前ＳＮＲ推定処理）を従来の決定論的な手法で実行するときに必要となる、加算や乗算などの信号処理演算の数を意味している。
【０２７２】
［第八実施形態］
第七実施形態では、第六実施形態の音源強調装置において、ネットワークパラメータzωiの初期値を設定する構成を説明した。第八実施形態では、第五実施形態の音源強調装置において、ネットワークパラメータzωiの初期値を設定するように構成する。なお、最適化処理については第五実施形態と同様である。
【０２７３】
第八実施形態の音源強調装置は、図１７に示すように、M個のマイクロホン１０−１〜１０−Ｍ、M個の周波数領域変換部１１−１〜１１−Ｍ、L個のビームフォーミング部１２−１〜１２−Ｌ、局所ＰＳＤ推定部１３、ＤＮＮマッピング部２２、およびフィルタリング部１６を第五実施形態と同様に備え、さらに初期値設定部３２を備える。この音源強調装置が後述する各ステップの処理を行うことにより第八実施形態の音源強調方法が実現される。
【０２７４】
第七実施形態では、2層目の処理が局所ＰＳＤ推定処理に対応していることを説明した。したがって、第八実施形態では、3層目以降の初期値設定を用いればよいということになる。入力層の値は、第五実施形態と同様に、次式のように設定する。
【０２７５】
【数９４】
0006594222.tif 000095
【０２７６】
式（131）以降の処理を2層目、3層目の初期値として設定すればよいことになる。なお、第七実施形態ではN≧4に設定したほうがよいと説明したが、層の数を信号処理演算の最小単位数+1以上に設定する考え方は同様であるため、第八実施形態ではN≧3に設定することが望ましい。
【０２７７】
第七実施形態や第八実施形態のように、ネットワークパラメータの初期値を適切に設定することで、各層の物理的な意味合いを持ちつつ、パラメータ最適化が可能になる。その結果、学習データがある程度少なくても外れ値を出力する可能性が減る効果が期待される。つまり、学習データが少なくても環境に依存しにくいディープニューラルネットワークを設計することができる効果がある。
【０２７８】
［第九実施形態］
第九実施形態は、第一実施形態から第四実施形態で説明した直間比推定技術と、第五実施形態から第八実施形態で説明した音源強調技術とを包含する上位概念としての音源情報推定技術を説明する。
【０２７９】
第九実施形態の音源情報推定装置は、例えば、音源特徴抽出部および音源情報推定部を備える。この音源情報推定装置が後述の各ステップの処理を行うことにより第九実施形態の音源情報推定方法が実現される。
【０２８０】
音源特徴抽出部は、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域観測信号から各周波数領域観測信号の音源特徴を抽出する。音源特徴抽出部は、第一実施形態および第四実施形態の直間比推定装置では、ビームフォーミング部１２−１〜１２−２および局所ＰＳＤ推定部１３に相当し、第二実施形態および第三実施形態の直間比推定装置では、ビームフォーミング部１２−１〜１２−２に相当する。また、第五実施形態および第八実施形態の音源強調装置では、ビームフォーミング部１２−１〜１２−Ｌおよび局所ＰＳＤ推定部１３に相当し、第六実施形態および第七実施形態の音源強調装置では、ビームフォーミング部１２−１〜１２−Ｌに相当する。
【０２８１】
音源情報推定部は、各周波数領域観測信号の音源特徴を統計的マッピングモデルへ入力して音源情報の推定値を求める。このとき、統計的マッピングモデルは、複数の異なる方向の角度領域から到来する音を強調して収音した複数の周波数領域音響信号から抽出した音源特徴と各周波数領域音響信号から求めた音源情報の正解値とを用いてパラメータを学習したものである。音源情報推定部は、第一実施形態および第四実施形態の直間比推定装置では、ＤＮＮマッピング部２０に相当し、第二実施形態および第三実施形態の直間比推定装置では、ＤＮＮマッピング部２１に相当する。また、第五実施形態および第八実施形態の音源強調装置では、ＤＮＮマッピング部２２に相当し、第六実施形態および第七実施形態の音源強調装置では、ＤＮＮマッピング部２３に相当する。
【０２８２】
上記の実施形態では、統計的マッピングモデルがディープニューラルネットワークで構成される例を説明したが、第一実施形態および第二実施形態の直間比推定技術と、第五実施形態および第六実施形態の音源強調技術と、第九実施形態の音源情報推定技術とにおける統計的マッピングモデルは、ディープニューラルネットワークに限定されず、他の統計的マッピングモデルを用いることが可能である。他の統計的マッピングモデルとしては、例えば、混合正規分布（Gaussian Mixture Model: GMM）などを挙げることができる。なお、第三実施形態および第四実施形態の直間比推定技術と、第七実施形態および第八実施形態の音源強調技術とにおいては、ディープニューラルネットワークのネットワークパラメータの初期値を設定する技術であるため、統計的マッピングモデルはディープニューラルネットワークに限定される。
【０２８３】
［第十実施形態］
上述の実施形態では、特にマイクロホンアレイのハードウェア構造を限定せずに説明してきた。本形態では、マイクロホンアレイのハードウェア構造に対称性を持たせるように限定することで、学習したディープニューラルネットワークのネットワークパラメータの頑健性を高め、音源情報の推定性能を高めることを目的とする。なお、処理手続きに関しては、ハードウェア構成が制限される以外は、各実施形態と同様であるため、以下では対称性を持つマイクロホンアレイの具体的なハードウェア構成例と、なぜこの構成によりディープニューラルネットワークのネットワークパラメータの頑健性が高まるのかについて説明をする。
【０２８４】
図１８に対称性を持つアレイ構造の例を示す。ここで、対称性とは、２次元または３次元空間における点対称を指す。例えば、直線状にM個のマイクロホンを並べた場合は、１次元であるため対称性を持たせることができない。２次元構造であれば、円周上にマイクロホンを等間隔で並べる場合（すなわち、正多角形の頂点位置）が該当する。また、３次元構造であれば、例えば、正多面体の頂点位置にマイクロホンがある場合が該当する。図１８では、２次元構造の例として正三角形・正方形・正六角形・正八角形の場合を、３次元構造の例として正四面体・正六面体・正八面体・正十二面体・正二十面体の場合を示したが、これらの構造に限定されるものではない。マイクロホンそのものに指向性がある場合には、対称性を保つように素子の向きが制限される。
【０２８５】
マイクロホンアレイの構造に対称性を持たせることの効果について、音声強調の場合を例にして説明する。≪音源強調法１：ビームフォーミング≫で説明したように、目的音を強調するための基本的な方式は、式（84）のようにビームフォーミングをし、その後、式（93）のようなウィーナーフィルタリングをかけることである。その際に、目的音と雑音のＰＳＤ、またはその比である事前ＳＮＲξω,τを必要とするが、これらは式（97）のような演算で得られる。各実施形態ではディープニューラルネットワークを使用してきたが、基本的には、このフローを自動的に推定していることに相当している。マイクロホンアレイの構造に対称性を持たせることにより、感度行列Dωが目的音の到来方向に依らず同一となる。これにより、目的音を強調するための処理フローが目的音の到来方向とは独立に決まることになる。そのため、ディープニューラルネットワークにより、目的音を強調するフローを学習して推定した際にも、目的音の到来方向とは独立にネットワークパラメータが決まることになり、特定の方向から到来した音のデータを大量に用意しなくてもネットワークパラメータの学習が進む。ただし、ビームフォーミングをする際に目的音の到来方向を既知とすることが前提となる。このようにして、対称性をもつマイクロホンアレイを用いることでディープニューラルネットワークの頑健性を高めることができ、音源情報の推定性能をさらに高めることができる。
【０２８６】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０２８７】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０２８８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０２８９】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０２９０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０２９１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【０２９２】
１０−１〜１０−Ｍ  マイクロホン
１１−１〜１１−Ｍ  周波数領域変換部
１２−１〜１２−Ｌ  ビームフォーミング部
１３  局所ＰＳＤ推定部
１４  パワー比推定部
１５  事前ＳＮＲ計算部
１６  フィルタリング部
２０〜２３  ＤＮＮマッピング部
３０〜３３  初期値設定部
【図１】
0006594222.tif 000117
【図２】
0006594222.tif 000118
【図３】
0006594222.tif 000119
【図４】
0006594222.tif 000120
【図５】
0006594222.tif 000121
【図６】
0006594222.tif 000122
【図７】
0006594222.tif 000123
【図８】
0006594222.tif 000124
【図９】
0006594222.tif 000125
【図１０】
0006594222.tif 000126
【図１１】
0006594222.tif 000127
【図１２】
0006594222.tif 000128
【図１３】
0006594222.tif 000129
【図１４】
0006594222.tif 000130
【図１５】
0006594222.tif 000131
【図１６】
0006594222.tif 000132
【図１７】
0006594222.tif 000133
【図１８】
0006594222.tif 000134