(57)【要約】【課題】位相情報を利用した深層学習による音源定位を可能にする音源定位装置、音源定位方法、およびプログラムを提供することを目的とする。【解決手段】音源定位装置は、Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得部と、Ｍチャネルの音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する位相差情報算出部と、入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された音響信号の位相情報を深層学習機に入力して音響信号の音源定位を行う推定部、を備える。【選択図】図１
2020141222.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得部と、
Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する位相差情報算出部と、
入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定部、
を備える音源定位装置。
【請求項２】
前記深層学習機は、確率モデルのエネルギー関数を次式（ａ、ｂ、ｃ、ｄはパラメータ、Ｗ、Ｑはネットワークの重みパラメータ、ｖ∈［０，２π）Ｉ、ｈ∈［０，２π）Ｊ、Ｉは下位層（入力側）のノード総数、Ｊは上位層（出力側）のノード総数、Ｔは倒置符号）と定義してニューラルネットワークを構築した学習機である、
【数１】
2020141222.tif 000032
請求項１に記載の音源定位装置。
【請求項３】
前記深層学習機は、前記学習機の出力が入力される活性化関数を前記学習機における事後確率Ｐ（ｈｊ＝１｜ｖ）を、次式のように定義する（σ（・）はシグモイド関数）、
【数２】
2020141222.tif 000033
上式において、ｐiは次式であり、
【数３】
2020141222.tif 000034
上式はシグモイド関数を使って次式のように表される、
【数４】
2020141222.tif 000035
請求項２に記載の音源定位装置。
【請求項４】
前記深層学習機の出力の条件付確率Ｐ（ｈｊ｜ｖ）はベルヌーイ分布に従う、請求項１から請求項３のいずれか１項に記載の音源定位装置。
【請求項５】
取得部が、Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得手順と、
位相差情報算出部が、Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する変換手順と、
推定部が、入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定手順、
を含む音源定位方法。
【請求項６】
音源定位装置のコンピュータに、
Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得手順と、
Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する変換手順と、
入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定手順、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源定位装置、音源定位方法、およびプログラムに関する。
【背景技術】
【０００２】
複数のマイクロホンから構成されるマイクロホンアレイを用いた音源定位が行われている。従来技術における音芸定位処理の概略を、図１２〜図１４を用いて説明する。図１２は、マイクロホンアレイを用いた收音を示す図である。図１３は、一般的な音源定位処理の手順例を示す図である。
音源定位処理は、音源９０１が発した音響信号９０２を、マイクロホンアレイ９０３を用いて收音する。図１２に示すように、マイクロホンアレイ９０３は、複数のマイクロホン９０３ａ，９０３ｂ，９０３ｃ，…を備えている。
また、図１２に示すように、マイクロホン９０３ａ〜９０３ｃそれぞれで受音した信号には、到来時間差（以下単に時間差という）が生じる。そして、一般的な音源定位では、收音した音響信号に対して短時間フーリエ変換を行って時間領域を周波数領域に変換する。この変換によって、時間差情報Δｔが位相差情報Δθに変換される。音源定位処理では、この位相差情報Δθを用いて音源方向を求める。ここで位相情報は、図１４に示すように、周期函数であるため、極大値が無数に存在する。図１４は、位相差情報の例を示す図である。
【０００３】
また、音源定位処理では、音源からマイクロホンまでの伝達関数を用いて音源方向を推定している。音源定位処理における推定精度は、この伝達関数に依存している。伝達関数を求めるためには、例えば、０度〜３６０度の円周状を所定角度毎に音源を移動させて音響信号を收音する。所定角度が小さいほど精度を上げることができるが、測定の手間と演算量が増大する。このため、伝達関数を深層学習することで、音源定位の性能向上が求められている。
【０００４】
ここで、音声認識処理にニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いる例を説明する。音声認識処理では、振幅スペクトラムなどの実数値をニューラルネットワークに入力することが一般的である。このような実数値は極大値が１つであり、例えばガウス分布に従った信号である。特許文献１には、音源定位部と音源同定部を有し、音源定位部と音源同定部それぞれが、複数のパルスニューロンモデルを備えたニューラルネットワークにより構成されている音源同定装置が開示されている。なお、パルスニューロンモデルとは、入出力信号としてパルス列を用いるニューロンモデルである。また、特許文献１に記載の技術では、パルスニューロンモデルに対して学習を行うことで音源同定の精度を向上させることが提案されている。
【０００５】
一方、上述したように音源定位に用いる位相情報は周期函数である。このため、図１５に示すように、従来技術では、收音した音響信号の位相処理に対して前処理（例えば非特許文献１、２参照）を行って、位相情報を周期的ではない情報に変換した後にニューラルネットワークの入力層に入力していた。図１５は、従来技術におけるニューラルネットワークを用いた音源定位処理手法例を説明するための図である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−８５４７２号公報
【非特許文献】
【０００７】
【非特許文献１】” Sound source localization using deep learning models”、Yalta, N., Nakadai, K., & Ogata, T. 、2017.. Journal of Robotics and Mechatronics, Vol.29, p37-48
【非特許文献２】” SOUND SOURCE LOCALIZATION BASED ON DEEP NEURAL NETWORKS WITH DIRECTIONAL ACTIVATE FUNCTION EXPLOITING PHASE INFORMATION”, Ryu Takeda and Kazunori Komatani,IEEE,2016,p405-409
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１に記載の技術では、複素スペクトルを前処理によって実数に変換して、変換した実数をニューラルネットワークに入力していた。また、非特許文献２に記載の技術では、振幅スペクトルをニューラルネットワークに入力していた。このように非特許文献１、２に記載の従来技術では、位相情報以外の情報をニューラルネットワークに入力していたため、音源定位処理にとって重要な位相情報を活用できていなかった。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであって、位相情報を利用した深層学習による音源定位を可能にする音源定位装置、音源定位方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
（１）上記目的を達成するため、本発明の一態様に係る音源定位装置は、Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得部＜３１＞と、Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する位相差情報算出部＜３２＞と、入力がフォン・ミーゼス分布に従う深層学習機＜３３１＞を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定部＜３３＞、を備える。
【００１１】
（２）また、本発明の一態様に係る音源定位装置において、前記深層学習機は、確率モデルのエネルギー関数を次式（ただしａ、ｂ、ｃ、ｄはパラメータ、Ｗ、Ｑはネットワークの重みパラメータ、ｖ∈［０，２π）Ｉ、ｈ∈［０，２π）Ｊ、Ｉは下位層（入力側）のノード総数、Ｊは上位層（出力側）のノード総数、Ｔは倒置符号）と定義してニューラルネットワークを構築した学習機であるようにしてもよい。
【数１】
2020141222.tif 000003
【００１２】
（３）また、本発明の一態様に係る音源定位装置において、前記深層学習機は、前記学習機の出力が入力される活性化関数を前記学習機における事後確率Ｐ（ｈｊ＝１｜ｖ）を、次式のように定義し（σ（・）はシグモイド関数）、
【数２】
2020141222.tif 000004
上式において、ｐiは次式であり、
【数３】
2020141222.tif 000005
上式はシグモイド関数を使って次式のように表されるようにしてもよい。
【数４】
2020141222.tif 000006
【００１３】
（４）また、本発明の一態様に係る音源定位装置において、前記深層学習機の出力の条件付確率ｐ（ｈｊ｜ｖ）はベルヌーイ分布に従うようにしてもよい。
【００１４】
（５）上記目的を達成するため、本発明の一態様に係る音源定位方法は、取得部が、Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得手順と、位相差情報算出部が、Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する変換手順と、推定部が、入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定手順、を含む。
【００１５】
（６）上記目的を達成するため、本発明の一態様に係るプログラムは、音源定位装置のコンピュータに、Ｍ（Ｍは１以上の整数）チャネルの音響信号を取得する取得手順と、Ｍチャネルの前記音響信号に対して短時間フーリエ変換を行って時間領域を、位相情報を含む周波数領域に変換する変換手順と、入力がフォン・ミーゼス分布に従う深層学習機を用いて、短時間フーリエ変換された前記音響信号の位相情報を前記深層学習機に入力して前記音響信号の音源定位を行う推定手順、を実行させる。
【発明の効果】
【００１６】
上述した（１）〜（６）によれば、位相情報（周期情報）を利用した深層学習による音源定位を可能にする。また、上述した（３）によれば、活性化関数を使用して周期情報を学習することができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る音源定位装置の構成例を示すブロック図である。
【図２】実施形態に係る推定部の構成例を示す図である。
【図３】シグモイド関数を示す図である。
【図４】実施形態に係る位相情報のモデル化を説明するための図である。
【図５】実施形態に係る音源定位装置が行う処理手順のフローチャートである。
【図６】仮想環境上のマイクロホンアレイと単一固定案源の位置を示す図である。
【図７】音源から出力する信号例を示す図である。
【図８】比較対象のＤＮＮの構成を示す図である。
【図９】実施形態に係るｖＭ−Ｂ  ＤＮＮの構成を示す図である。
【図１０】比較に用いた入力と出力がベルヌーイ分布に従うＤＮＮを用いた音源定位のシミュレーション結果を示す図である。
【図１１】実施形態のｖＭ−Ｂ  ＤＮＮを用いた音源定位のシミュレーション結果を示す図である。
【図１２】マイクロホンアレイを用いた收音を示す図である。
【図１３】一般的な音源定位処理の手順例を示す図である。
【図１４】位相差情報の例を示す図である。
【図１５】従来技術におけるニューラルネットワークを用いた音源定位処理手法例を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本実施形態に係る音源定位装置３の構成例を示すブロック図である。図１に示すように、音源定位装置３は、取得部３１、位相差情報算出部３２、推定部３３、および出力部３４を備えている。音源定位装置３には、マイクロホンアレイ２が無線または有線で接続されている。
【００１９】
マイクロホンアレイ２は、Ｍ（Ｍは２以上の整数）個のマイクロホン（マイク２１、２２、２３、…）を備える。マイクロホンアレイ２は、音源が発した音響信号を収音し、収音したＭチャネルの音響信号を音源定位装置３に出力する。
【００２０】
音源定位装置３は、取得した音響信号を用いて、音源の方位を推定する。
【００２１】
取得部３１は、マイクロホンアレイ２が出力するＭチャネルの音響信号を取得し、取得したＭチャネルの音響信号を位相差情報算出部３２に出力する。
【００２２】
位相差情報算出部３２は、取得部３１が出力するＭチャネルの音響信号に対して短時間フーリエ変換を行って時間領域を周波数領域に変換する。位相差情報算出部３２は、周波数領域に変換した音響信号を推定部３３に出力する。なお、周波数領域に変換した音響信号には、位相情報が含まれている。
【００２３】
推定部３３は、位相差情報算出部３２が出力する位相情報を、ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（フォン・ミーゼス・ベルヌーイ・深層ニューラルネットワーク）（以下、ｖＭ−Ｂ  ＤＮＮともいう）に直接入力して音源定位を行う。推定部３３は、推定した推定結果を出力部３４に出力する。なお、ｖＭ−Ｂ  ＤＮＮについては後述する。また、推定部３３は、深層学習機３３１を備える。深層学習機３３１の構成については、図２を用いて後述する。
【００２４】
出力部３４は、推定部３３が出力する推定結果を外部装置（例えば表示装置、印字装置、音声認識装置等）に出力する。
【００２５】
次に、推定部３３の構成例を説明する。
図２は、本実施形態に係る推定部の構成例を示す図である。図２に示すように、推定部３３は、深層学習機３３１であるニューラルネットワークによって構成されている。本実施形態では、深層学習機（ニューラルネットワーク）３３１をｖＭ−Ｂ  ＤＮＮと呼ぶ。ｖＭ−Ｂ  ＤＮＮは、周期的な量に対して用いられるｖｏｎ  Ｍｉｓｅｓ分布を用いて、位相を直接入力することができるように拡張したニューラルネットワークである。なお、図２に示す例は、出力が、音源方向を５度刻みとした７２（＝３６０／５）次元ベクトルの例である。また、出力は音源の方向を表す。
【００２６】
深層学習機３３１は、入力層３３２、中間層３３３および出力層３３４を備えている。また、入力層３３２は、ＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ；制限ボルツマンマシン）３３２１および活性化関数３３２２を備える。本実施形態の推定部３３が備える深層学習機３３１では、一般的なニューラルネットワークに対して、位相情報を直接入力できるように活性化関数３３２２を変更した。なお、活性化関数とは、ニューラルネットワークにおいて、線形変換をした後に適用する非線形関数もしくは恒等関数である。
【００２７】
ｖＭ−Ｂ  ＤＮＮについて、さらに説明する。
活性化関数であるシグモイド（ｓｉｇｍｏｉｄ）関数を用いたフィードフォワードニューラルネットワークの各層の計算は、ＲＢＭの隠れ層に対する事後分布の計算と一致する。
このため、ニューラルネットワークの隠れ層の計算は、ＲＢＭの隠れ層の点推定と見なすことができ、すなわち、ニューラルネットワークの隠れ層の計算とＲＢＭの隠れ層の計算が等価である。ｖＭ−Ｂ  ＤＮＮは、ｖＭ−Ｂ  ＲＢＭ（ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を考え、その点推定を元にした手法である。
なお、以下の説明では、ニューラルネットワークによる位相情報（周期的情報）の学習にｖｏｎ  Ｍｉｓｅｓ（フォン・ミーゼス）分布をＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）に導入する例を説明するが、これに限らない。ｖｏｎ  Ｍｉｓｅｓ（フォン・ミーゼス）分布を他の学習機に導入して、位相情報（周期的情報）の学習を行うようにしてもよい。
【００２８】
なお、シグモイド関数δ（ｘ）は、例えば次式（１）のように表され、図３のように表される。図３は、シグモイド関数δ（ｘ）を示す図である。図３において、横軸がｘであり、縦軸がδ（ｘ）である。
【００２９】
【数５】
2020141222.tif 000007
【００３０】
［ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭ］
このため、まずｖＭ−Ｂ  ＲＢＭについて説明する。
ＲＢＭは、可視層と隠れ層との間のノードの繋がり方が制限されている確率モデルである。ＲＢＭへの入力のノードの状態をｖ∈｛０，１｝Ｉとし、出力のノードの状態をｈ∈｛０，１｝Ｊとすると、ＲＢＭの確率モデルＰ（ｖ，ｈ）は次式（２）のように定義することができる。ここで、Ｉは下位層（入力側）のノード総数であり、Ｊは上位層（出力側）のノード総数である。
【００３１】
【数６】
2020141222.tif 000008
【００３２】
なお、式（２）において、Ｅ（ｖ，ｈ）は、次式（３）であり、Ｚは正規化定数である。
【００３３】
【数７】
2020141222.tif 000009
【００３４】
式（３）において、ａ、ｂはパラメータであり、Ｗはネットワークの重みパラメータであり、ニューラルネットワークで学習する値である。
このとき、入力の条件付確率Ｐ（ｖｉ｜ｈ）と、出力の条件付確率Ｐ（ｈｊ｜ｖ）は、Ｂｅｒｎｏｕｌｌｉ（ベルヌーイ）分布に従う。ここで、ｉは下位層（入力側）のノードのインデックスであり、ｊは上位層（出力側）のノードのインデックスである。このため、式（２）、（３）で定義されたＲＢＭは、Ｂｅｒｎｏｕｌｌｉ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭ（以下、Ｂ−Ｂ  ＲＢＭともいう）。
また、通常のＲＢＭにおける活性化関数（ＲＢＭの事後確率）ｐ（ｈｊ＝１｜ｖ）は次式（４）で表される。
【００３５】
【数８】
2020141222.tif 000010
【００３６】
これに対して、ｖＭ−Ｂ  ＲＢＭでは、入力がｖｏｎ  Ｍｉｓｅｓ（フォン・ミーゼス）分布に従い、出力がＢｅｒｎｏｕｌｌｉ（ベルヌーイ）分布に従うと仮定したＲＢＭであり、指数分布に関するＲＢＭの特殊な場合である。ここで、フォン・ミーゼス分布ｖＭ（・）は、確率変数θ∈［０，２π）を用いて次式（５）で表される分布である。
【００３７】
【数９】
2020141222.tif 000011
【００３８】
式（５）において、μは平均方向であり、βは集中度を表すパラメータであり、Ｉ０（・）は第一種変形ベッセル関数である。なお、第一種変形ベッセル関数は、次式（６）のように表される。
【００３９】
【数１０】
2020141222.tif 000012
【００４０】
なお、式（６）においてαはパラメータである。
ｖＭ−Ｂ  ＲＢＭは、入力の条件付き確率Ｐ（ｖｉ｜ｈ）がフォン・ミーゼス分布に従うように、Ｅ（ｖ，ｈ）を次式（７）で定義する。
【００４１】
【数１１】
2020141222.tif 000013
【００４２】
式（７）において、ｖ∈［０，２π）Ｉ、ｈ∈［０，２π）Ｊであり、ａ、ｂ、ｃはパラメータであり、Ｗ、Ｑはネットワークの重みパラメータであり、ニューラルネットワークで学習する値である。
また、通常のＲＢＭにおける活性化関数（ＲＢＭの事後確率）Ｐ（ｈｊ＝１｜ｖ）は次式（８）で表される。
【００４３】
【数１２】
2020141222.tif 000014
【００４４】
なお、式（８）において、ｐiは次式（９）である。
【００４５】
【数１３】
2020141222.tif 000015
【００４６】
また、式（９）はシグモイド関数σ（・）を使って次式（１０）のように表される。
【００４７】
【数１４】
2020141222.tif 000016
【００４８】
［ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  ＤＮＮの構築］
ＤＮＮの各層がＲＢＭの隠れ層の点推定とみなせるため、同様にｖＭ−Ｂ  ＲＢＭの点推定を考えることで、ｖＭ−Ｂ  ＤＮＮの計算を定義する。ｖＭ−Ｂ  ＤＮＮの入力層の出力Ｐ（ｈｊ＝１｜ｖ）を次式（１１）のように定義する。
【００４９】
【数１５】
2020141222.tif 000017
【００５０】
なお、式（９）において、ｃ＾ｊは次式（１２）である。また、ｃ＾ｊはｃ＾のｊ番目の要素を表す。
【００５１】
【数１６】
2020141222.tif 000018
【００５２】
ここで、式（１１）はシグモイド関数であり、式（１２）のｃ＾ｊが上述したＢ−Ｂ  ＲＢＭ（例えば式（１））と異なる。
このため、入力層はシグモイド関数を活性化関数とするニューラルネットワークに対してｃ＾ｊを変更することで実装することができる。なお、ｖＭ−Ｂ  ＤＮＮでは、二層目以降を通常のニューラルネットワークと同様に構築する。
【００５３】
さらに、位相情報のモデル化について、図４を参照して説明する。
図４は、本実施形態に係る位相情報のモデル化を説明するための図である。符号ｇ１は一般的なガウス分布を表している。しかし横軸が位相情報の場合は、符号ｇ２のように周期関数であるので、図の０と２πの値のところで左右の端を接続する必要がある。符号ｇ３は、このようにしてガウス分布を、円周上のガウス分布に変換したフォン・ミーゼス分布を表しており、この分布を用いることで周期的な位相情報を扱うことができる。
【００５４】
次に、音源定位装置３が行う処理手順例を説明する。
図５は、本実施形態に係る音源定位装置３が行う処理手順のフローチャートである。
【００５５】
（ステップＳ１）取得部３１は、マイクロホンアレイ２が出力するＭチャネルの音響信号を取得する。
【００５６】
（ステップＳ２）位相差情報算出部３２は、取得部３１が出力するＭチャネルの音響信号に対して短時間フーリエ変換を行って時間領域を周波数領域に変換する。
【００５７】
（ステップＳ３）推定部３３は、位相差情報算出部３２が出力する位相情報を、ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋに直接入力して音源定位を行う。
【００５８】
［シミュレーション結果］
次に、シミュレーション結果を説明する。
図６は、仮想環境上のマイクロホンアレイと単一固定案源の位置を示す図である。符号ｇ１１はマイクロホンアレイを示し、符号ｇ１２は音源を示す。図６に示すように、マイクロホンアレイの中心を基準点とする。また、マイクロホンアレイは、８個のマイクロホンによって構成され、半径１０［ｃｍ］の円周上に４５度間隔で配置されている。音源との距離は、０．５〜１．５［ｍ］である。マイクロホンアレイが收音した音響信号に対するサンプリング周波数は１６［ｋＨｚ］である。マイクロホンアレイの信号と雑音の比ＳＮＲは２０［ｄＢ］である。音源の周波数帯域は２［ｋＨｚ］までであり２５６分割である。学習用データは１０万セットであり、テスト用データは１万セットである。
【００５９】
シミュレーションは、音源から音を出力し、各マイクロホンを用いて收音した音響信号を録音する。得られた音響信号から周波数毎の位相を算出し、このデータを１セットとする。また、正解ラベルには、音源の方向を５度刻みに与える。これを音源の配置を変更して行うことでデータセットを生成した。
なお、音源から出力した信号は次式（１３）に従って生成した。
【００６０】
【数１７】
2020141222.tif 000019
【００６１】
ただし、式（１１）において、Ａ∈［０，１］であり、ｆｉ∈（０，２０００］であり、ともにランダムに生成した値である。図７は、音源から出力する信号例を示す図である。横軸は周波数［Ｈｚ］であり、縦軸は信号レベル［ｄＢ］である。
【００６２】
また、ｖＭ−Ｂ  ＤＮＮの入力層をシグモイド関数活性関数とする全結合で置き換えたＤＮＮを比較対象とした。学習に用いた各ＤＮＮの構成は、図８、図９の通りである。図８は、比較対象のＤＮＮの構成を示す図である。図９は、本実施形態に係るｖＭ−Ｂ  ＤＮＮの構成を示す図である。比較対象のＤＮＮは、入力と出力がベルヌーイ分布に従う。
【００６３】
図８、図９に示すように、ＤＮＮへの入力（ｉｎｐｕｔ）は、７．８［Ｈｚ］の位相データ、２５６ｂｉｎ（１５．６［Ｈｚ］の位相データ、…、２０００［Ｈｚ］の位相データ）×８次元（８チャネル）である。
また、図８に示すように、比較例のＤＮＮでは、第１層の全結合層（ｆｕｌｌｙ  ｃｏｎｎｅｃｔｅｄ  ｌａｙｅｒ）は４６０８次元（＝６４×７２）である。
図９に示すように、本実施形態に係るｖＭ−Ｂ  ＤＮＮの第１層のｖＭ−Ｂ層は４６０８次元（＝６４×７２）である。
【００６４】
図８、図９に示すように、２層の全結合層は７２次元である。
図８、図９に示すように、出力層のソフトマックス（ｓｏｆｔｍａｘ）関数の次元は７２次元である。
図８、図９に示すように、出力（ｏｕｔｐｕｔ）の次元は、５度刻みの７２次元（＝３６０／５）である。
【００６５】
図１０は、比較に用いた入力と出力がベルヌーイ分布に従うＤＮＮを用いた音源定位のシミュレーション結果を示す図である。図１１は、本実施形態のｖＭ−Ｂ  ＤＮＮを用いた音源定位のシミュレーション結果を示す図である。
図１０と図１１において、横軸は学習回数、縦軸は正解率である。なお、正解率は、（正解ラベルと一致したデータ数）／（テストデータの個数）である。なお、正解率は。学習モデルにおける推定値が最大となる方向と、正解ラベルとの完全一致率として定義した。
また、図１０と図１１において、符号ｇ２１と符号３１は、トレーニングデータのシミュレーション結果であり、符号ｇ２２と符号ｇ３２はテストデータによるシミュレーション結果である。
【００６６】
図１０に示すように、比較例の正解率は、トレーニングデータであってもテストデータであっても学習回数が２０回を超えても０．１程度である。
これに対して、図１１に示すように、本実施形態のｖＭ−Ｂ  ＤＮＮによる正解率は、学習回数が１０回を超えるとほぼ１，０に達した。このシミュレーション結果は、本実施形態のｖＭ−Ｂ  ＤＮＮによれば、周期情報である位相情報の学習が可能なことを示している。また、このシミュレーション結果は、本実施形態のｖＭ−Ｂ  ＤＮＮによれば、周期情報である位相情報を用いて精度の良い音源定位を実現できることを示している。
【００６７】
以上のように、本実施形態によれば、従来のＤＮＮモデルでは学習が困難であった位相情報を学習でき、精度の良い音源定位を実現することができる。
【００６８】
なお、上述した例では、ｖＭ−Ｂ  ＤＮＮを音源定位に用いる例を説明したが、これに限らない。本実施形態のｖＭ−Ｂ  ＤＮＮを、周期的な情報を入力とする、他の推定装置等に適用するようにしてもよい。
【００６９】
［Ｂｅｒｎｏｕｌｌｉ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭの計算］
ここで、Ｂｅｒｎｏｕｌｌｉ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭにおいて、出力の条件付確率ｐ（ｈｊ｜ｖ）がベルヌーイ分布に従い、事後確率ｐ（ｖｉ｜ｈ）もベルヌーイ分布に従うことの説明をする。
Ｅ（ｖ、ｈ）は上述したように式（３）で表される。また、確率モデルｐ（ｖ、ｈ）は、次式（１４）で表される。
【００７０】
【数１８】
2020141222.tif 000020
【００７１】
このため、出力の条件付確率ｐ（ｈｊ｜ｖ）と入力の条件付確率ｐ（ｖｉ｜ｈ）との関係は、次式（１５）のように表される。
【００７２】
【数１９】
2020141222.tif 000021
【００７３】
ただし、式（１１）において、ｐｉは次式（１６）である。
【００７４】
【数２０】
2020141222.tif 000022
【００７５】
式（１５）より、出力の条件付確率ｐ（ｈｊ｜ｖ）がベルヌーイ分布に従う。そして、式（１６）より、ｐ（ｈｊ＝１｜ｖ）＝ｐｉのときシグモイド関数となる。さらに、式（１５）より入力の条件付確率ｐ（ｖｉ｜ｈ）もベルヌーイ分布に従う。
【００７６】
［ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭの計算］
ここで、ｖｏｎ  Ｍｉｓｅｓ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭにおいて、事後確率ｐ（ｖｉ｜ｈ）がフォン・ミーゼス分布に従い、出力の条件付確率ｐ（ｈｊ｜ｖ）がベルヌーイ分布に従うことの説明をする。
【００７７】
Ｅ（ｖ、ｈ）は次式（１７）で表されるとする。また、確率モデルＰ（ｖ、ｈ）は、次式（１８）で表される。
【００７８】
【数２１】
2020141222.tif 000023
【００７９】
【数２２】
2020141222.tif 000024
【００８０】
このため、事後確率Ｐ（ｖｉ｜ｈ）は、次式（１９）のように表される。なお、ｖ∈［０，２π）Ｉ、ｈ∈｛０，２π｝Ｊであり、ａ∈ＲＩ（Ｒは整数の集合）、ｂ∈ＲＩ、ａ∈ＲＪはバイアスであり、Ｗ∈ＲＩ×Ｊ、Ｑ∈ＲＩ×Ｊは結合重みを表すパラメータである。また、μは平均方向であり、βは集中度を表すパラメータであり、Ｉ０（・）は第一種変形ベッセル関数である。
【００８１】
【数２３】
2020141222.tif 000025
【００８２】
式（１５）において、ａ、ｂ、ｈ、Ｗ、βおよびμには次式（２０）〜（２２）の関係がある。
【００８３】
【数２４】
2020141222.tif 000026
【００８４】
【数２５】
2020141222.tif 000027
【００８５】
【数２６】
2020141222.tif 000028
【００８６】
式（１９）より入力の条件付確率ｐ（ｖｉ｜ｈ）はフォン・ミーゼス分布に従う。
次に、出力の条件付確率ｐ（ｈｊ｜ｖ）は次式（２３）のように表される。なお、ｃｊはニューラルネットワークにおけるノードの活性化関数（シグモイド関数）の入力前の値である。
【００８７】
【数２７】
2020141222.tif 000029
【００８８】
ただし、式（２３）においてｐｉは次式（２４）である。
【００８９】
【数２８】
2020141222.tif 000030
【００９０】
式（２４）はシグモイド関数を使って次式（２５）のように表される。
【００９１】
【数２９】
2020141222.tif 000031
【００９２】
式（２３）より出力の条件付確率Ｐ（ｈｊ｜ｖ）はベルヌーイ分布に従う。そして、式（２４）、（２５）より、Ｐ（ｈｊ＝１｜ｖ）＝ｐｉのときシグモイド関数となる。
【００９３】
以上のように、本実施形態では、ニューラルネットワークに位相情報を直接入力できるように、入力がｖｏｎ  Ｍｉｓｅｓ分布を扱えるようにした。すなわち、本実施形態では、ニューラルネットワークの１つである制限付きボルツマンマシン（ＲＢＭ）の入出力がともにＢｅｒｎｏｕｌｌｉ分布のとき、確率モデルがＰ（ｖ，ｈ）＝ｅｘｐ（−Ｅ（ｖ，ｈ））／Ｚ、Ｅ（ｖ，ｈ）＝−ａＴｖ−ｂＴｈ−ｖＴＷｈ（Ｅ（ｖ，ｈ）はエネルギー関数）、と表現し、入力がｖｏｎ  Ｍｉｓｅｓ分布に対応するようにエネルギー関数をＥ（ｖ，ｈ）＝−ａＴｃｏｓ（ｖ）−ｂＴｓｉｎ（ｖ）−ｃＴｈ−（ｃｏｓ（ｖ）ＴＷ＋ｓｉｎ（ｖ）ＴＱ）ｈと定義した。そして、本実施形態では、入力がｖｏｎ  Ｍｉｓｅｓ分布に従う深層学習機を用い、入力音声の位相を学習機に入力させて音源定位を学習、音源定位するようにした。
【００９４】
これにより本実施形態によれば、位相情報の学習が可能となり、位相情報を用いて音源定位が可能である。
【００９５】
なお、本発明における音源定位装置３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源定位装置３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００９６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９７】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【００９８】
２…マイクロホンアレイ、３…音源定位装置、３１…取得部、３２…位相差情報算出部、３３…推定部、３４…出力部、３３１…深層学習機（ニューラルネットワーク）、３３２…入力層、３３３…中間層、３３４…出力層、２１、２２、２３、…マイク
【図１】
2020141222.tif 000036
【図２】
2020141222.tif 000037
【図３】
2020141222.tif 000038
【図４】
2020141222.tif 000039
【図５】
2020141222.tif 000040
【図６】
2020141222.tif 000041
【図７】
2020141222.tif 000042
【図８】
2020141222.tif 000043
【図９】
2020141222.tif 000044
【図１０】
2020141222.tif 000045
【図１１】
2020141222.tif 000046
【図１２】
2020141222.tif 000047
【図１３】
2020141222.tif 000048
【図１４】
2020141222.tif 000049
【図１５】
2020141222.tif 000050