(57)【要約】  雑音の環境に応じた適切な雑音抑圧を行うことで雑音抑圧性能を向上させる。【解決手段】雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得する。そして受音点に配置されたマイクロホンにより得られた音声信号について、取得した雑音辞書データを用いて雑音抑圧処理を行うようにする。
2020079957.tif 000002
【特許請求の範囲】
【請求項１】
雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得する制御演算部と、
前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う雑音抑圧部と、を備えた
音声信号処理装置。
【請求項２】
前記制御演算部は、各種の環境下における２点間の伝達関数を保持する伝達関数データベース部から、前記設置環境情報に基づいて雑音源と前記受音点の間の伝達関数を取得し、
前記雑音抑圧部は、雑音抑圧処理に前記伝達関数を用いる
請求項１に記載の音声信号処理装置。
【請求項３】
前記設置環境情報は前記受音点から雑音源の距離の情報を含み、
前記制御演算部は、前記種別、前記方位、前記距離を引数に含んで前記雑音データベース部から雑音辞書データを取得する
請求項１に記載の音声信号処理装置。
【請求項４】
前記設置環境情報は前記方位として前記受音点と雑音源の間の方位角と仰角の情報を含み、
前記制御演算部は、前記種別、前記方位角、前記仰角を引数に含んで前記雑音データベース部から雑音辞書データを取得する
請求項１に記載の音声信号処理装置。
【請求項５】
前記設置環境情報を記憶した設置環境情報保持部を備える
請求項１に記載の音声信号処理装置。
【請求項６】
前記制御演算部は、ユーザ操作により入力される設置環境情報を保存する処理を行う
請求項１に記載の音声信号処理装置。
【請求項７】
前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する処理を行い、推定結果に応じた設置環境情報を保存する処理を行う
請求項１に記載の音声信号処理装置。
【請求項８】
前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する際に、当該雑音源の種別の雑音が所定の時間区間に存在するかどうかの判定を行う
請求項７に記載の音声信号処理装置。
【請求項９】
前記制御演算部は、撮像装置による撮像画像に基づいて判定した設置環境情報を保存する処理を行う
請求項１に記載の音声信号処理装置。
【請求項１０】
前記制御演算部は、撮像画像に基づいて形状推定を行う
請求項９に記載の音声信号処理装置。
【請求項１１】
前記雑音抑圧部は、
前記雑音データベース部から取得した雑音辞書データを用いてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行う
請求項１に記載の音声信号処理装置。
【請求項１２】
前記雑音抑圧部は、
前記雑音データベース部から取得した雑音辞書データに、雑音源と前記受音点の間の伝達関数をたたみ込むことで得られる、伝達関数を反映した雑音辞書データに基づいてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行う
請求項１に記載の音声信号処理装置。
【請求項１３】
前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、周波数方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行う
請求項１に記載の音声信号処理装置。
【請求項１４】
前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、空間方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行う
請求項１に記載の音声信号処理装置。
【請求項１５】
前記雑音抑圧部は、雑音の存在しない時間区間と雑音の存在する時間区間の推定結果を用いて雑音抑圧処理を行う
請求項１に記載の音声信号処理装置。
【請求項１６】
前記制御演算部は、周波数帯毎に前記雑音データベース部から雑音辞書データを取得する
請求項１に記載の音声信号処理装置。
【請求項１７】
前記伝達関数データベース部を記憶する記憶部を備える
請求項２に記載の音声信号処理装置。
【請求項１８】
前記雑音データベース部を記憶する記憶部を備える
請求項１に記載の音声信号処理装置。
【請求項１９】
前記制御演算部は、外部機器との通信により雑音辞書データを取得する
請求項１に記載の音声信号処理装置。
【請求項２０】
雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得し、
前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う
音声信号処理装置による雑音抑圧方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音声信号処理装置及びその雑音抑圧方法に関し、特に環境に適した雑音抑圧についての技術分野に関する。
【背景技術】
【０００２】
雑音抑圧技術としては、観測信号から推定雑音のスペクトルを減算するスペクトルサブトラクション、あるいは雑音抑圧前後のゲインを規定するゲイン関数（スペクトルゲイン、事前／事後ＳＮＲ）を定義し、観測信号に乗算して雑音抑圧を行うものなどがある。
下記非特許文献１にはスペクトルサブトラクションによる雑音抑圧の技術が開示されている。また下記非特許文献２にはスペクトルゲインによる手法が技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】BOLL S.F (1979) Suppression of Acoustic Noise in Speech Using Spectral Subtraction. IEEE Tran. on Acoustics, Speech and Signal Processing ASSP-27, 2, pp. 113-120.
【非特許文献２】Y.Ephraim and D.Malah, "Speech enhancement using minimum mean-square error short-time spectral amplitude estimator", IEEE Trans Acoust., Speech, Signal Processing, ASSP-32, 6, pp.1109-1121, Dec.1984.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
スペクトルサブトラクション法においては、減算によってスペクトルに時間周波数スロット単位で穴のあいた状態（一部の時間周波数の信号が０となる）となり、これがミュージカルノイズと呼ばれる耳障りな音となってしまうことがある。
またゲイン関数タイプの手法では目的音声（例えばスピーチなど）と雑音（主に定常的な雑音）に特定の確率密度分布を仮定しているため、非定常雑音における性能が悪かったり、定常雑音でも仮定された分布からずれた環境では性能が低下するということがある。
また実際の使用環境においては目的音、雑音共にドライソースではないが、伝搬時に畳み込まれる空間伝達特性の影響や、雑音源の放射特性を、雑音抑圧に有効に反映していない。
そこで本技術は、環境に適応した適切な雑音抑圧を実現できる手法を提供する。
【課題を解決するための手段】
【０００５】
本技術に係る音声信号処理装置は、雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得する制御演算部と、前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う雑音抑圧部と、を備える。
例えば雑音源の種別及び方位ごとの性質を記憶する雑音データベース部を用いて、音声信号処理装置の設置環境における、少なくとも雑音の種別及び方位に応じた雑音の雑音辞書データを取得し、これを雑音抑圧（ノイズリダクション）の処理に利用する。
通常、受音点とはマイクロホンの位置となる。
受音点と雑音源の間の方位とは、受音点からの雑音点の方位角を示す情報、又は雑音点からの受音点の方位角を示す情報のいずれでも良い。【０００６】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、各種の環境下における２点間の伝達関数を保持する伝達関数データベース部から、前記設置環境情報に基づいて雑音源と前記受音点の間の伝達関数を取得し、前記雑音抑圧部は、雑音抑圧処理に前記伝達関数を用いることが考えられる。
即ち雑音の種別及び方位角に応じた雑音の雑音辞書データに加えて空間伝達関数も雑音抑圧処理に利用する。【０００７】
上記した本技術に係る音声信号処理装置においては、前記設置環境情報は前記受音点から雑音源の距離の情報を含み、前記制御演算部は、前記種別、前記方位、前記距離を引数に含んで前記雑音データベース部から雑音辞書データを取得することが考えられる。
即ち少なくともこれらの種別、方位、距離に応じた雑音辞書データを雑音抑圧に用いるようにする。【０００８】
上記した本技術に係る音声信号処理装置においては、前記設置環境情報は前記方位として前記受音点と雑音源の間の方位角と仰角の情報を含み、前記制御演算部は、前記種別、前記方位角、前記仰角を引数に含んで前記雑音データベース部から雑音辞書データを取得することが考えられる。
方位の情報は、受音点と雑音源の位置関係を２次元にみたときの方向の情報ではなく、上下方向の位置関係（仰角）も含めた３次元的な方向の情報とする。【０００９】
上記した本技術に係る音声信号処理装置においては、前記設置環境情報を記憶した設置環境情報保持部を備えることが考えられる。
音声信号処理装置の設置に応じて、設置環境情報として予め入力された情報を記憶しておくようにする。【００１０】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、ユーザ操作により入力される設置環境情報を保存する処理を行うことが考えられる。
例えば音声信号処理装置を設置した人や使用する人などが、操作により設置環境情報を入力する場合に、音声信号処理装置はその操作に対応して設置環境情報を記憶できるようにする。【００１１】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する処理を行い、推定結果に応じた設置環境情報を保存する処理を行うことが考えられる。
例えば音声信号処理装置が使用環境に設置された状態で、受音点と雑音源の間の方位や距離を推定する処理を行うようにして設置環境情報を得る。【００１２】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する際に、当該雑音源の種別の雑音が所定の時間区間に存在するかどうかの判定を行うことが考えられる。
雑音源の種別毎に、雑音の発生している時間区間を推定し、適切な時間区間で方位又は距離の推定を行う。【００１３】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、撮像装置による撮像画像に基づいて判定した設置環境情報を保存する処理を行うことが考えられる。
例えば音声信号処理装置が使用環境に設置された状態で、撮像装置により画像撮像を行い、画像解析により設置環境を判定する。【００１４】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、撮像画像に基づいて形状推定を行うことが考えられる。
例えば音声信号処理装置が使用環境に設置された状態で、撮像装置により画像撮像を行い、設置空間の３次元形状を推定する。【００１５】
上記した本技術に係る音声信号処理装置においては、前記雑音抑圧部は、前記雑音データベース部から取得した雑音辞書データを用いてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行うことが考えられる。
雑音辞書データをテンプレートとして用いてゲイン関数を計算する。【００１６】
上記した本技術に係る音声信号処理装置においては、前記雑音抑圧部は、前記雑音データベース部から取得した雑音辞書データに、雑音源と前記受音点の間の伝達関数をたたみ込むことで得られる、伝達関数を反映した雑音辞書データに基づいてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行うことが考えられる。
雑音源と受音点の伝達関数を反映させる場合に雑音辞書データを変形する。【００１７】
上記した本技術に係る音声信号処理装置においては、前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、周波数方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行うことが考えられる。
例えば周波数ｂｉｎ毎にゲイン関数を求める場合に、周波数方向の補間を行う。【００１８】
上記した本技術に係る音声信号処理装置においては、前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、空間方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行うことが考えられる。
例えば複数のマイクロホンにより複数の音声収録点がある場合などに、ゲイン関数を求める場合に空間方向の補間を行う。【００１９】
上記した本技術に係る音声信号処理装置においては、前記雑音抑圧部は、雑音の存在しない時間区間と雑音の存在する時間区間の推定結果を用いて雑音抑圧処理を行うことが考えられる。
例えば時間区間として雑音の存在有無の推定に応じてＳＮＲ（signal-noise ratio） を求め、ゲイン関数計算に反映させる。【００２０】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、周波数帯毎に前記雑音データベース部から雑音辞書データを取得することが考えられる。
即ち雑音データベース部からは周波数ｂｉｎ毎に雑音辞書データが得られるようにする。【００２１】
上記した本技術に係る音声信号処理装置においては、前記伝達関数データベース部を記憶する記憶部を備えることが考えられる。
即ち音声信号処理装置内に伝達関数データベース部を格納する。【００２２】
上記した本技術に係る音声信号処理装置においては、前記雑音データベース部を記憶する記憶部を備えることが考えられる。
即ち音声信号処理装置内に雑音データベース部を格納する。【００２３】
上記した本技術に係る音声信号処理装置においては、前記制御演算部は、外部機器との通信により雑音辞書データを取得することが考えられる。
即ち音声信号処理装置内には雑音データベース部を保存しない。【００２４】
本技術に係る雑音抑圧方法は、雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得し、前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う。
これにより環境に応じた雑音抑圧を実現する。
【図面の簡単な説明】
【００２５】
【図１】本技術の実施の形態の音声信号処理装置のブロック図である。
【図２】実施の形態の音声信号処理装置と外部装置のブロック図である。
【図３】実施の形態の制御演算部の機能及び記憶機能の説明図である。
【図４】実施の形態の雑音区間推定の説明図である。
【図５】実施の形態のＮＲ部のブロック図である。
【図６】第１の実施の形態のノイズ抑圧動作の説明図である。
【図７】第２の実施の形態のノイズ抑圧動作の説明図である。
【図８】第３の実施の形態のノイズ抑圧動作の説明図である。
【図９】第４の実施の形態のノイズ抑圧動作の説明図である。
【図１０】第５の実施の形態のノイズ抑圧動作の説明図である。
【図１１】実施の形態の雑音データベース構築の処理のフローチャートである。
【図１２】実施の形態の雑音辞書データの取得の説明図である。
【図１３】実施の形態の事前測定／入力処理のフローチャートである。
【図１４】実施の形態の機器使用時の処理のフローチャートである。
【図１５】実施の形態のＮＲ部の処理のフローチャートである。
【発明を実施するための形態】
【００２６】
以下、実施の形態を次の順序で説明する。
＜１．音声信号処理装置の構成＞
＜２．第１〜第５の実施の形態の動作＞
＜３．雑音データベース構築手順＞
＜４．事前測定／入力処理＞
＜５．機器使用時の処理＞
＜６．ノイズリダクション処理＞
＜７．まとめ及び変形例＞
【００２７】
＜１．音声信号処理装置の構成＞
実施の形態の音声信号処理装置１は、マイクロホンにより入力される音声信号に対して雑音抑圧（ＮＲ：ノイズリダクション）としての音声信号処理を行う装置である。
このような音声信号処理装置１は、単体、もしくは他の機器と接続されて構成されてもよいし、各種の電子機器に内蔵されるものでも良い。
実際には、カメラ、テレビジョン装置、オーディオ装置、記録装置、通信装置、テレプレゼンス装置、音声認識装置、対話装置、音声対応を行うためのエージェント装置、ロボット、各種の情報処理装置などに内蔵されたり、これらと接続されて使用される構成とされる。
【００２８】
音声信号処理装置１の構成を図１に示す。音声信号処理装置１はマイクロホン２、ＮＲ（ノイズリダクション）部３、信号処理部４、制御演算部５、記憶部６、入力デバイス７を有する。
なお、必ずしもこれらの構成が全て必要とされるものではなく、またこれらの構成が一体的に設けられる必要はない。例えばマイクロホン２は別体のマイクロホン２が接続されるものでもよい。入力デバイス７も必要に応じて設けられたり、接続されたりすればよい。
実施の形態の音声信号処理装置１としては、少なくとも雑音抑圧部として機能するＮＲ部３と制御演算部５が設けられれば良い。
【００２９】
マイクロホン２としては、例えば複数のマイクロホン２ａ，２ｂ，２ｃが設けられる。なお、説明上、特に個々のマイクロホン２ａ，２ｂ，２ｃを指す必要がないときは「マイクロホン２」と総称する。
マイクロホン２によって収音され電気信号とされた音声信号は、ＮＲ部３に供給される。  なお破線で示すようにマイクロホン２からの音声信号が制御演算部５に供給されて解析されるようにする場合もある。
【００３０】
ＮＲ部３では、入力された音声信号に対するノイズリダクション処理が行われる。ノイズリダクション処理について詳しくは後述する。
【００３１】
ノイズリダクション処理が施された音声信号は、信号処理部４に供給され、機器の機能に応じた必要な信号処理が行われる。例えば音声信号について、記録処理、通信処理、再生処理、音声認識処理、音声解析処理等が行われる。
なお信号処理部４は、ノイズリダクション処理された音声信号の出力部として機能し、外部機器に音声信号を送信するものでもよい。
【００３２】
制御演算部５は例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、インタフェース部を備えたマイクロコンピュータ等により構成される。詳しくは後述するが、この制御演算部５は、ＮＲ部３において環境状態に応じた雑音抑圧が行われるようにＮＲ部３にデータ（雑音辞書データ）を提供する処理を行う。
【００３３】
記憶部６は例えば不揮発性記憶媒体により構成され、制御演算部５によるＮＲ部３の制御のための必要な情報を記憶する。具体的には後述する雑音データベース部、伝達関数データベース部、設置環境情報保持部等としての情報の記憶が行われる。
【００３４】
入力デバイス７は、制御演算部５に対して情報を入力するデバイスを指している。例えばユーザが情報入力を行うためのキーボード、マウス、タッチパネル、ポインティングデバイス、リモートコントローラ等が入力デバイス７の例となる。
またマイクロホンや撮像装置（カメラ）、各種センサも入力デバイス７の例となる。
【００３５】
この図１では、例えば一体的な機器内に記憶部６が設けられて雑音データベース部、伝達関数データベース部、設置環境情報保持部等が記憶されるものとして示しているが、図２のように外部の記憶部６Ａを用いる構成も想定される。
例えば音声信号処理装置１には通信部８が設けられ、制御演算部５がネットワーク１０を介してクラウド又は外部サーバとしてのコンピューティングシステム１００と通信可能とする。
コンピューティングシステム１００においては制御演算部５Ａが通信部１１により制御演算部５との間で通信を行う。
【００３６】
そして雑音データベース部、伝達関数データベース部が記憶部６Ａに設けられ、設置環境情報保持部としての情報が記憶部６に記憶されるようにする。
この場合、制御演算部５は、制御演算部５Ａとの通信で、必要な情報（例えば雑音データベース部から得られる雑音辞書データ部や伝達関数データベース部から得られる伝達関数等）を取得する。
例えば制御演算部５Ａが音声信号処理装置１の設置環境情報を制御演算部５Ａに送信する。制御演算部５Ａは設置環境情報に応じた雑音辞書データを雑音データベース部から取得して制御演算部５に送信するなどである。
【００３７】
もちろん雑音データベース部、伝達関数データベース部、設置環境情報保持部等が記憶部６Ａに設けられるようにしてもよい。
或いは記憶部６Ａには雑音データベース部のとしての情報のみを記憶させることも考えられる。特に雑音データベース部はデータ量が膨大になることも想定され、その場合は記憶部６Ａのような音声信号処理装置１の外部の記憶リソースを用いることが好適となる。
【００３８】
この図２のような構成の場合のネットワーク１０は、音声信号処理装置１が外部の情報処理装置と通信可能な伝送路であればよく、例えばインターネット、ＬＡＮ（Local Area Network）、ＶＰＮ（Virtual Private Network：仮想専用網）、イントラネット、エキストラネット、衛星通信網、ＣＡＴＶ（Community Antenna TeleVision）通信網、電話回線網、移動体通信網等の各種の形態が想定される。
【００３９】
以下では、図１の構成を前提に説明を続けるが、それらは図２の構成にも適用して考えることができる。
【００４０】
制御演算部５が有する機能、及び記憶部６に記憶される情報領域を図３Ａ、図３Ｂに例示する。なお、図２の構成の場合、図３Ａに示す機能が制御演算部５，５Ａに分散して設けられ、また図３Ｂに示す情報領域が、記憶部６、６Ａのいずれか、又は両方に分散して記憶されると考えれば良い。
【００４１】
図３Ａに示すように制御演算部５は、管理・制御部５１、設置環境情報入力部５２、雑音区間推定部５３、雑音方位／距離推定部５４、形状／種別推定部５５としての機能を有する。なお、これら全ての機能を有するものでなくても良い。
【００４２】
管理・制御部５１は制御演算部５による基本的な各種処理を行う機能を示している。例えば記憶部６に対する情報の書込／読出、通信処理、ＮＲ部３の制御処理（雑音辞書データの供給）、入力デバイス７の制御等を行う機能である。
【００４３】
設置環境情報入力部５２は、音声信号処理装置１の設置環境の寸法や吸音率などの諸元データ、設置環境において存在する雑音の種別、位置、方位などの情報を入力し、設置環境情報として記憶させる機能である。
例えば設置環境情報入力部５２は入力デバイス７によってユーザが入力したデータに基づいて設置環境情報を生成し、記憶部６に記憶させる。
或いは設置環境情報入力部５２は、入力デバイス７としての撮像装置やマイクロホンにより得られる画像や音声を解析して設置環境情報を生成し、記憶部６に記憶させる。
【００４４】
設置環境情報とは、例えば雑音の種別、受音点と雑音源の方向（方位角、仰角）、距離などを含む。
雑音の種別とは、例えば雑音の音自体の種別（周波数特性等の種別）や雑音源の種別などである。雑音源とは例えば設置環境における家電製品、例えばエアコンディショナー、洗濯機、冷蔵庫などの種別であったり、定常的な周囲騒音などである。
また雑音種別については、例えば同じ洗濯機というカテゴリーの中でも洗濯騒音と乾燥騒音が異なるなど、サブカテゴリーごとに類型化するなど様々な方式があってもよい。
【００４５】
雑音区間推定部５３は、単一又は複数のマイクロホン２で構成されるマイクアレーからの入力音声（又は入力デバイス７としての他のマイクロホン）を用いて、所定の時間区間内にノイズの種別ごとに存在するかどうかを判定する機能である。
例えば雑音区間推定部５３は、図４に示すような、抑圧対象の雑音が現れる時間区間としての雑音区間や、収録すべき音声等の目的音がある時間区間である目的音存在区間を判別する。
【００４６】
雑音方位／距離推定部５４は、音源ごとの方位及び距離を推定する機能である。例えば単一又は複数のマイクロホン２で構成されるマイクロホンアレーからの入力音声（又は入力デバイス７としての他のマイクロホン）を用いて観測された信号から音源の到来方位及び距離を推定する。このような推定には、例えばＭＵＳＩＣ（MUltiple SIgnal Classification ）法などを用いることができる。
【００４７】
形状／種別推定部５５は、入力デバイス７として撮像装置が設けられた場合に、その撮像装置で撮像された画像データを入力し、画像データを解析して設置空間の３次元形状を推定したり、雑音源の有無、種別、位置等を推定する機能である。
【００４８】
図３Ｂのように記憶部６には、設置環境情報保持部６１、雑音データベース部６２、伝達関数データベース部６３が設けられる。
【００４９】
設置環境情報保持部６１は設置環境の寸法や吸音率などの諸元データ、設置環境において存在する雑音の種別、位置、方位などの情報を保持するデータベースである。つまり設置環境情報入力部５２によって生成された設置環境情報が記憶される。
【００５０】
雑音データベース部６２は、雑音の種別ごとにその統計的性質を保持するデータベースである。即ち事前にデータ収集された音源種別ごとの指向特性、振幅の確率密度分布、様々な方位、距離ごとの空間伝達特性を格納する。
この雑音データベース部６２は、例えば雑音源の種別、方向、距離等を引数として、
雑音辞書データを読み出すことができるように構成されている。
雑音辞書データは、上記の雑音種別ごとの指向特性、振幅の確率密度分布、様々な方位、距離ごとの空間伝達特性を含む情報である。
なお、音源ごとの指向性は予め専用のデバイスで実測定したり、あるいは音響シミュレーションを行うことで得ることができ、例えば方位を引数とした関数で表現できる。
【００５１】
伝達関数データベース部６３は、様々な環境における任意の２点間の伝達関数を保持するデータベースである。例えば事前にデータ収集された２点間の伝達関数、又は形状情報から音響シミュレーションによって生成された伝達関数が格納されたデータベースとされる。
【００５２】
図５にＮＲ部３の構成例を示す。
ＮＲ部３はマイクロホン２からの入力音声信号に対して、雑音データベース部６２から得られる統計的性質を活用して、当該雑音を抑圧する処理を行う。
例えばＮＲ部３は、ノイズがあると判定された時間区間についてそのノイズ種別に関する情報を雑音データベース部６２から取得し、収録音声から低減して出力する。
上記の通り、雑音データベース６２から得られる雑音源統計情報（ゲイン関数やマスク情報などのテンプレート）、雑音源の指向特性、２地点間の位置関係による雑音源から受音点までの伝達特性を利用して、雑音統計情報を指向特性／伝達特性で適切に変形する事で（畳み込みなど）、ノイズリダクション処理の精度／性能を上げる（例えば雑音源の統計的性質／指向特性、伝達特性、マイク（アレー）指向性の順に畳み込まれる）。
観測信号だけを情報として、適応信号処理／ノイズリダクション処理を行うことに比べて、本実施の形態では、事前にデータベース化されている雑音辞書データ（音源指向性等）や２点間の伝達特性等による信号の変形を考慮する事で、ノイズリダクションを高精度化する事が可能となる。
【００５３】
ＮＲ部３は、ＳＴＦＴ（short-time Fourier transform：短時間フーリエ変換）部３１、ゲイン関数適用部３２、ＩＳＴＦＴ（inverse short-time Fourier transform：逆短時間フーリエ変換）部３３、ＳＮＲ推定部３４、ゲイン関数推定部３５を有する。
【００５４】
マイクロホン２から入力された音声信号はＳＴＦＴ部３１で短時間フーリエ変換された後、ゲイン関数適用部３２、ＳＮＲ推定部３４、及びゲイン関数推定部３５に供給される。
ＳＮＲ推定部３４には、雑音区間推定結果や、雑音辞書データＤ（又は伝達関数が考慮された雑音辞書データＤ’）が入力される。そして短時間フーリエ変換された音声信号に対して雑音区間推定結果や雑音辞書データＤを用いて事前ＳＮＲ、事後ＳＮＲを求める。
この事前ＳＮＲ、事後ＳＮＲを用いてゲイン関数推定部３５で例えば周波数ｂｉｎ毎のゲイン関数が求められる。なお、これらＳＮＲ推定部３４、ゲイン関数推定部３５の処理については後に詳述する。
【００５５】
求められたゲイン関数はゲイン関数適用部３２に供給される。ゲイン関数適用部３２では例えば周波数ｂｉｎ毎の音声信号にゲイン関数を乗算することでノイズ抑圧を行う。
ゲイン関数適用部３２の出力はＩＳＴＦＴ部３３で逆短時間フーリエ変換が行われ、これによりノイズリダクションが行われた音声信号として出力される（ＮＲ出力）。
【００５６】
＜２．第１〜第５の実施の形態の動作＞
以上の構成の音声信号処理装置１は、雑音源の放射特性や環境における伝達特性を活用した雑音抑圧を行うものとなる。
例えば雑音源の種別ごとの統計的性質の雑音辞書データ（雑音源の振幅の出現確率を記述する確率密度関数や時間周波数マスクなど）を作り、音源からの伝達方位等を引数として雑音辞書データを取得する。
また雑音源と受音点（実施の形態ではマイクロホン２の位置）間の方位もしくは空間伝達特性（簡略化した場合は距離）を活用する事で、収録音に対して効果的に雑音抑圧を行う。
【００５７】
様々な音源は固有の放射特性を持っており、全方位に一様に音声が放射されるわけではない。この点についてノイズの放射特性を考慮することや、空間における残響反射の特性を示す空間伝達特性を考慮することにより雑音、抑圧の性能を向上させる。
具体的には音声信号処理装置１の設置時の事前測定においてユーザが雑音源の方位／距離、雑音種別、設置環境の寸法などを入力するか、設置場所が変わる機器では位置変更時にマイクロホンアレーや撮像装置等を利用して雑音方位／距離の推定を行う事によって雑音種別、方位角、仰角、距離などの情報を取得して設置環境情報として記録する。
次にその設置環境情報を引数として雑音データベースから所望の雑音辞書データ（テンプレート）を引き出す。
そしてマイクロホン２からの入力音声信号に対して、雑音辞書データを用いたノイズリダクションを行う。
【００５８】
以下、このようなシステム動作の具体例を第１から第５の実施の形態の動作として例示する。
なお、システム動作は事前測定の処理（以下「事前測定／入力処理」とも称する）と、実際の音声信号処理装置１の使用時の処理（以下「機器使用時の処理」とも称する）の二つから構成される。
【００５９】
事前測定／入力処理においては、ユーザの入力情報やマイクロホンアレーでの収録信号、撮像装置による画像信号などのいずれか、または組み合わせが入力情報となる。
これによって設置環境情報保持部６１に、音声信号処理装置１が設置された部屋の寸法、材質に基づく吸音率、雑音源の位置と種別などの設置環境情報が格納される。
事前測定は音声信号処理装置１が据え置き型機器である場合は設置時などに、また音声信号処理装置１が移動利用可能なスマートスピーカーなどの機器の場合では設置場所変更時に行われることが想定される。
【００６０】
次に機器使用時の処理としては、設置環境情報に格納されたパラメータを引数として雑音データベースから引き出された雑音の統計情報を活用して、ＮＲ部３においてマイクロホン２からの音声信号に対し雑音抑圧が行われる。
【００６１】
以下、主に制御演算部５及び記憶部６により実行される処理を図３Ａ、図３Ｂに示した機能による動作として例示していく。
【００６２】
第１の実施の形態の動作を図６に示す。
事前測定／入力処理では、ユーザによる入力情報が設置環境情報入力部５２の機能により取り込まれ、設置環境情報とされて設置環境情報保持部６１に記憶される。
ユーザによる入力情報としては、雑音源とマイクロホン２の間の方位や距離を指定する情報、雑音種別を指定する情報、設置環境寸法の情報などがある。
【００６３】
機器使用時の処理では、管理・制御部５１は設置環境情報保持部６１から設置環境情報（例えばｉ，θ，φ，ｌ）を取得し、それを引数として雑音データベース部６２から雑音辞書データＤ（ｉ，θ，φ，ｌ）を取得する。
ここでｉ，θ，φ，ｌは次の通りである。
ｉ：雑音種別インデックス
θ：雑音源から受音点方向（マイクロホン２の方向）の方位角
φ：雑音源から受音点方向の仰角
ｌ：雑音源から受音点の距離
【００６４】
管理・制御部５１は、この雑音辞書データＤ（ｉ，θ，φ，ｌ）をＮＲ部３に供給する。ＮＲ部３は雑音辞書データＤ（ｉ，θ，φ，ｌ）を用いてノイズリダクション処理を行う。
この動作により、ＮＲ部３では設置環境、特には雑音の種別や方向、距離に応じたノイズリダクション処理が可能となる。
【００６５】
なお図６から図１０の各例では、設置環境情報としてｉ，θ，φ，ｌを挙げるが、これは一例であり、設置環境の寸法、吸音率など、他の設置環境情報も雑音辞書データＤの引数とすることができる。また、必ずしもｉ，θ，φ，ｌが含まれる必要はなく、例えば雑音種別ｉ，方位角θのみを雑音辞書データＤの引数としてもよいなど、その組み合わせは多様に想定される。
【００６６】
第２の実施の形態の動作を図７に示す。
事前測定／入力処理は、図６と同様としている。
【００６７】
機器使用時の処理では、管理・制御部５１は設置環境情報保持部６１から設置環境情報（例えばｉ，θ，φ，ｌ）を取得し、それを引数として雑音データベース部６２から雑音辞書データＤ（ｉ，θ，φ，ｌ）を取得する。また管理・制御部５１は、設置環境情報（ｉ，θ，φ，ｌ）を引数として伝達関数データベース部６３から伝達関数Ｈ（ｉ，θ，φ，ｌ）を取得する。
管理・制御部５１は、この雑音辞書データＤ（ｉ，θ，φ，ｌ）及び伝達関数Ｈ（ｉ，θ，φ，ｌ）をＮＲ部３に供給する。
ＮＲ部３は雑音辞書データＤ（ｉ，θ，φ，ｌ）及び伝達関数Ｈ（ｉ，θ，φ，ｌ）を用いてノイズリダクション処理を行う。
この動作により、ＮＲ部３では設置環境、特には雑音の種別や方向、距離に応じ、かつ伝達関数を反映したノイズリダクション処理が可能となる。
【００６８】
第３の実施の形態の動作を図８に示す。
事前測定／入力処理では、ユーザによる入力情報が設置環境情報入力部５２の機能により取り込まれ、設置環境情報とされて設置環境情報保持部６１に記憶される。
またマイクロホン２（又は入力デバイス７における他のマイクロホン）により収音された音声信号が雑音方位／距離推定部５４の機能により取り込まれて解析され、雑音源の方位や距離が推定される。この情報も設置環境情報入力部５２の機能により設置環境情報とされて設置環境情報保持部６１に記憶されるようにすることができる。
従って、ユーザの入力が行われなくとも、設置環境情報を記憶することが可能となる。また音声信号処理装置１の配置変更などの際に、ユーザの入力が行われなくとも、設置環境情報を更新することができる。
【００６９】
機器使用時の処理では、管理・制御部５１は設置環境情報保持部６１から設置環境情報（例えばｉ，θ，φ，ｌ）を取得し、それを引数として雑音データベース部６２から雑音辞書データＤ（ｉ，θ，φ，ｌ）を取得する。管理・制御部５１は、この雑音辞書データＤ（ｉ，θ，φ，ｌ）をＮＲ部３に供給する。
また雑音区間推定部５３によって雑音区間の判定情報がＮＲ部３に供給される。
ＮＲ部３では、ノイズがあると判定された時間区間に関しては、雑音辞書データＤ（ｉ，θ，φ，ｌ）を用いてノイズリダクション処理を行う。
この動作によりＮＲ部３では、設置環境、特には雑音の種別や方向、距離に応じ、かつ伝達関数を反映したノイズリダクション処理が可能となる。
なおＮＲ部３では、雑音のある時間区間において、図７のように雑音辞書データＤ（ｉ，θ，φ，ｌ）及び伝達関数Ｈ（ｉ，θ，φ，ｌ）を用いてノイズリダクション処理を行うようにすることもできる。
【００７０】
第４の実施の形態の動作を図９に示す。
事前測定／入力処理では、ユーザ入力を想定しないこともできる。例えばマイクロホン２（又は入力デバイス７における他のマイクロホン）により収音された音声信号が雑音方位／距離推定部５４の機能により取り込まれて解析され、雑音源の方位や距離が推定される。この情報が設置環境情報入力部５２の機能により設置環境情報とされて設置環境情報保持部６１に記憶される。
またこの場合に、雑音区間推定部５３の機能により雑音区間の判定が行われ、雑音方位／距離推定部５４は、雑音が生じている時間区間において方位、距離、雑音種別、設置環境寸法などが推定されるようにしている。
雑音区間判定情報を用いることで、雑音方位／距離推定部５４の推定精度を向上させることができる。
【００７１】
機器使用時の処理は図６の第１の実施の形態と同様としている。
但し図７のように伝達関数データベース部６３から取得した伝達関数Ｈ（ｉ，θ，φ，ｌ）を用いるようにしてもよいし、図８のように雑音区間推定部５３による雑音区間判定情報を用いることも想定される。
【００７２】
第５の実施の形態の動作を図１０に示す。
これも事前測定／入力処理では、ユーザ入力を想定しないものとしている。例えば入力デバイス７における撮像装置により撮像された画像信号について、形状／種別推定部５５で画像解析を行い、方位、距離、雑音種別、設置環境寸法などを推定する。
特に画像解析において形状／種別推定部５５は設置空間の３次元形状を推定し、かつ雑音源の有無、位置を推定する。例えば雑音源となる家電製品を判定したり、部屋の３次元空間形状を判定してから距離、方位、音声の反射状況などを認識する。
そしてそれらの情報が設置環境情報入力部５２の機能により設置環境情報とされて設置環境情報保持部６１に記憶される。
画像解析により、音声解析とは異なる環境情報入力が可能となる。
なお図８の例との組み合わせとして、雑音方位／距離推定部５４の音声解析と、形状／種別推定部５５の画像解析を組み合わせて、より正確又は多様な設置環境情報を得るようにすることもできる。
【００７３】
機器使用時の処理は図６の第１の実施の形態と同様としている。
この場合も、図７のように伝達関数データベース部６３から取得した伝達関数Ｈ（ｉ，θ，φ，ｌ）を用いるようにしてもよいし、図８のように雑音区間推定部５３による雑音区間判定情報を用いることも想定される。
【００７４】
＜３．雑音データベース構築手順＞
以上の各種実施の形態では、雑音データベース部６２の構築は、事前に完了しているとの前提で説明してきた。ここでは雑音データベース部６２の構築手順の例を説明する。
【００７５】
図１１に雑音データベース部６２の構築手順例を示す。
例えば音響収録システム及び情報処理装置からなる雑音データベース構築システムを用いて図１１の処理が行われる。
ここでいう音響収録システムとは、例えば各種の雑音源を設置するとともに、雑音源に対してマイクロホンの収録位置を変更しながら雑音を収録することができる装置及び環境をいう。
【００７６】
ステップＳ１０１で基本情報入力が行われる。
例えばオペレータにより、雑音種別や雑音源正面からの測定位置の方位や距離の情報が雑音データベース構築システムに入力される。
その状態で、ステップＳ１０２で雑音源の動作を開始させる。即ち雑音を発生させる。
ステップＳ１０３で雑音の収録、測定を開始し、これを所定時間行って、ステップＳ１０４で測定完了とする。
【００７７】
ステップＳ１０５では、追加収録の判断が行われる。
例えば雑音種別やマイクロホンの位置（つまり方位や距離）を変更して多数回の測定が行われることで、多様な設置環境に対応する雑音収録が実行される。
つまり追加収録として、マイクロホンの位置を変更したり、雑音源を変更したりしながらステップＳ１０１からＳ１０４の手順が繰り返し行われる。
必要な測定を終えたら、ステップＳ１０６に進み、雑音データベース構築システムの情報処理装置により、統計的なパラメータ算出が行われる。即ち測定した音声データから雑音辞書データＤの算出、及びデータベース化が行われる。
【００７８】
以上の手順による雑音辞書データＤの測定／生成についての具体例として、指向性を考慮した雑音辞書データの生成／取得の一例を説明する。
例えば雑音種別、周波数、方位を引数とした雑音の指向特性を求める。
【００７９】
まず雑音辞書データＤの生成の例を述べる。
雑音種別（ｉ）、方位（θ、φ）、距離（ｌ）ごとに測定又はＦＤＴＤ法（Finite-difference time-domain method：時間領域差分法）などの音響シミュレーションで、音の伝搬を計算する。
図１２に球体を示すが、球体の中心（図中ｘ）に雑音源が配置される。そして球体の各格子点（円弧の交点）にマイクロホンを設置して測定を行うか、あるいは雑音源の３Ｄ形状の音響シミュレーションを行い、中央の雑音源位置ｘから各格子点までの伝達関数ｙを得る。
なお図１２のような測定の場合は、距離（ｌ）は円弧の交点に配置されたマイクロホンによるマイクアレーの半径（球の半径）に等しい。
【００８０】
上記の測定を繰り返し雑音種別ｉ毎に、方位角θ、仰角φ、距離ｌのそれぞれに対して所定の離散化精度の伝達関数の辞書を得る。
そして測定した伝達特性ｙｉ（θ，φ，ｌ）をＤＦＴ（discrete Fourier transformation：離散フーリエ変換）する。
【００８１】
【数１】
2020079957.tif 000003
【００８２】
なお、式中の文字は次のとおりである。
ｉ：雑音種別インデックス
θ：雑音源から受音点方向の方位角
Φ：雑音源から受音点方向の仰角
ｌ：雑音源から受音点の距離
ｋ：周波数ｂｉｎインデックス
Ｎ：測定したインパルス応答長
【００８３】
そして各ｂｉｎのＦＦＴ係数の絶対値（振幅）を該当の環境に対応する雑音辞書データＤｉ（ｋ，θ，φ，ｌ）として保持する。
【００８４】
【数２】
2020079957.tif 000004
【００８５】
なお、種別ごと、方位ごと、距離ごとに相対比較ができる手法であれば他のゲイン計算方法であっても良い。
【００８６】
次に雑音辞書データＤの取得の例について説明する。
基本的には、雑音種別（ｉ）、方位（θ、φ）、距離ｌ、周波数ｋを引数として雑音データベース部６２から所望のＤｉ（ｋ，θ，φ，ｌ）の値を取得すればよい。
【００８７】
雑音データベース部６２に指定する方位のデータが存在しない場合は、隣接する周囲の格子点のデータから線形補間、ラグランジュ補間（二次補間）などで生成を行うことが考えられる。例えば図１２の“●”の位置が指向性を求めたい受音点ＬＰである場合、受音点ＬＰの周囲の“○”で示す格子点ＨＰのデータを用いて補間を行う。
【００８８】
雑音データベース部６２に指定する距離のデータが存在しない場合は、距離二乗減衰則などに基づき生成することが考えられる。また方位の場合と同じく隣接する距離のデータから補間を行ってもよい。
【００８９】
以上のような手法で得られた雑音辞書データＤの値を用いて周波数軸上でｂｉｎごとにＮＲを実行することが想定される。
なお、ｉ（雑音種別），θ（方位角），φ（仰角），ｌ（距離），ｋ（周波数）のパラメータの組み合わせ以外に、例えば吸音率などの周囲の環境を示すパラメータなどがあっても良い。
また指向性やその周波数特性が大きく異なる場合は、同じ雑音種別であっても動作モードなどによって別の種別としてもよい。例えばエアコンの暖房モード、冷房モードなどである。
【００９０】
＜４．事前測定／入力処理＞
続いて機器設置時の事前測定／入力処理について説明する。
例えば音声信号処理装置１（単体、又は音声信号処理装置１を含む機器）を使用のために設置した際には、その設置環境に関する情報の測定や入力が行われる。
図１３はそのような測定や入力に関する制御演算部５の、主に設置環境情報入力部５２の機能による処理を示している。
【００９１】
ステップＳ２０１で制御演算部５は、入力デバイス７等から設置環境情報を入力する。
入力態様としては、ユーザの操作による入力が想定される。例えば、
・設置した機器に対する雑音源の方位／距離を指定する情報の入力
・雑音種別を指定する情報の入力
・設置環境寸法、壁の材質、反射率、吸音率、その他、部屋の情報の入力
などが想定される。
【００９２】
また先の第３、第４、第５の実施の形態のようにユーザの入力以外の設置環境情報の入力（事前測定）もある。例えば
・雑音方位／距離推定部５４による雑音源の方位や距離の測定値
・形状／種別推定部５５による雑音や方位、距離、或いは部屋の情報等の推定情報
などが入力される場合も想定される。
【００９３】
制御演算部５（設置環境情報入力部５２）は、これらのユーザ入力や自動測定による情報を取得したら、ステップＳ２０２で、取得した情報に基づいて設置環境情報を生成し、設置環境情報保持部６１に記憶させる処理を行う。
以上により音声信号処理装置１に、設置環境情報が記憶されることになる。
【００９４】
＜５．機器使用時の処理＞
続いて機器使用時の処理を図１４で説明する。
例えば音声信号処理装置１が電源オンとされたり、稼働開始となった以降の処理である。
【００９５】
ステップＳ３０１で制御演算部５は設置環境情報が記憶済であるか否かを確認する。即ち先の図１３の処理で設置環境情報保持部６１に記憶が行われているか否かである。
もし記憶済でなければ、制御演算部５はステップＳ３０２で先の図１３の処理により設置環境情報の取得や記憶を行う。
【００９６】
設置環境情報を記憶した状態においてステップＳ３０３に進む。
制御演算部５はステップＳ３０３で設置環境情報を設置環境情報保持部６１から取得し、必要な情報をＮＲ部３に供給する。具体的には制御演算部５は設置環境情報を用いて雑音データベース部６２から雑音辞書データＤを取得し、この雑音辞書データＤをＮＲ部３に供給する。
また設置環境情報を用いて伝達関数データベース６３から雑音源と受音点の間の伝達関数Ｈを取得し、伝達関数ＨをＮＲ部３に供給する場合もある。
このような情報がステップＳ３０４でＮＲ部３に供給されると、ＮＲ部３では、雑音辞書データＤ、又はさらに伝達特性Ｈを用いてゲイン関数を算出し、ノイズリダクション処理を行う。
以降、ステップＳ３０５で稼働終了と判定されるまで、ステップＳ３０４でのＮＲ部３によるノイズリダクション処理が継続される。
【００９７】
＜６．ノイズリダクション処理＞
ＮＲ部３におけるノイズリダクション処理の例について説明する。
ＮＲ部３では、図１５の処理を繰り返し実行することで、マイクロホン２で得られる音声信号に対するノイズリダクション処理のためのゲイン関数を計算し、ノイズリダクション処理を実行する。以下説明する処理は図５のＳＮＲ推定部３４及びゲイン関数推定部３５によって実行されるゲイン関数設定処理である。
【００９８】
図１５のステップＳ４０１では、ＮＲ部３はマイクインデックスの初期化を行う（マイクインデックス＝１）。
マイクインデックスとは、複数のマイクロホン２ａ，２ｂ，２ｃ・・・のそれぞれに付されたナンバである。マイクインデックスの初期化を行うことで、インデックスナンバ＝１のマイクロホン（例えばマイクロホン２ａ）を最初にゲイン関数算出の処理対象とすることになる。
【００９９】
ステップＳ４０２でＮＲ部３は周波数インデックスの初期化を行う（周波数インデックス＝１）。
周波数インデックスとは、周波数ｂｉｎ毎に付されたナンバであり、周波数インデックスの初期化を行うことで、インデックスナンバ１の周波数ｂｉｎを最初にゲイン関数算出の処理対象とすることになる。
【０１００】
ステップＳ４０３からＳ４０９では、マイクインデックスで指定されるマイクロホン２について、周波数インデックスで指定される周波数ｂｉｎのゲイン関数が求められ、適用されることになる。
【０１０１】
まずステップＳ４０３からＳ４０９の流れの概要を説明し、ゲイン関数算出の詳細は後述する。
ＮＲ部３では、まずステップＳ４０３で図５のＳＮＲ推定部３４により、該当のマイクロホン２及び周波数ｂｉｎについての、推定雑音パワー、事前ＳＮＲ、事後ＳＮＲのアップデートが行われる。
事前ＳＮＲとは、抑圧対象の雑音に対する目的音（例えば主として人の音声）のＳＮＲである。
事後ＳＮＲとは、ノイズ重畳後の実際の観測音の、抑圧対象の雑音に対するＳＮＲである。
例えば図５ではＳＮＲ推定部３４に雑音区間推定結果を入力する例を示したが、ＳＮＲ推定部３４において、雑音区間推定結果を利用して、抑圧対象の雑音が存在する時間区間で雑音パワー、事後ＳＮＲをアップデートする。事前ＳＮＲは目的音のパワー真値が得られないが、非特許文献２に開示されるdecision-directed法などの既存の手法で計算することができる。
【０１０２】
ステップＳ４０４でＮＲ部３は、現在の周波数における対象雑音以外のパワーが所定値以下であるか否かを判定する。これはゲイン関数計算を高い信頼度で実行できるか否かを判定するものである。
【０１０３】
ステップＳ４０４で肯定結果が得られるときは、ＮＲ部３ではゲイン関数推定部３５によりステップＳ４０６でゲイン関数計算が行われる。
そしてステップＳ４０９で、求められたゲイン関数が、対象のマイクロホン２の周波数ｂｉｎのゲイン関数として、ゲイン関数適用部３２に送られ、ノイズリダクション処理に適用される。
なおマイクインデックス＝１、かつ周波数インデックス＝１のときは、必ずステップＳ４０４からＳ４０６に進むこととする。これは、後述するステップＳ４０７又はＳ４０８での補間ができないためである。
【０１０４】
ステップＳ４０４で肯定結果が得られないときは、ＮＲ部３はステップＳ４０５で当該周波数近傍における対象雑音以外のパワーが所定値以下であるか否かを判定する。これは、周波数軸上のゲイン関数補間が適しているか否かの判定となる。
ステップＳ４０５で肯定結果が得られるときは、ＮＲ部３ではステップＳ４０７でゲイン関数の補間計算を行う。即ちゲイン関数推定部３５により雑音辞書データＤによる指向性辞書情報を用いて当該周波数ｂｉｎのゲイン関数を周波数軸上で近傍周波数から補間する処理を行う。
そしてステップＳ４０９で、求められたゲイン関数が、対象のマイクロホン２の周波数ｂｉｎのゲイン関数として、ゲイン関数適用部３２に送られ、ノイズリダクション処理に適用される。
【０１０５】
ステップＳ４０５で肯定結果が得られないときは、ＮＲ部３はステップＳ４０８でゲイン関数の補間計算を行う。この場合はゲイン関数推定部３５により雑音辞書データＤによる指向性辞書情報を用いて、他のマイクロホン２の相いつ周波数インデックスのゲイン関数を用いて対象のマイクロホン２の周波数ｂｉｎのゲイン関数を補間する処理を行う。
そしてステップＳ４０９で、求められたゲイン関数が、対象のマイクロホン２の周波数ｂｉｎのゲイン関数としてゲイン関数適用部３２に送られ、ノイズリダクション処理に適用される。
【０１０６】
そしてステップＳ４１０でＮＲ部３は、全周波数帯について以上のステップＳ４０３からＳ４０９の処理を行ったか否かを確認し、完了していなければ周波数インデックスをインクリメントしてステップＳ４０３に戻る。つまり次の周波数ｂｉｎについて同様にゲイン関数を求める処理を行う。
或る１つのマイクロホン２について、全周波数帯についてステップＳ４０３からＳ４０９の処理を完了した場合は、ＮＲ部３はステップＳ４１２で、全マイクロホン２について処理を完了したか否かを確認する。完了していなければステップＳ４１３でマイクインデックスをインクリメントしてステップＳ４０２に戻る。つまり別のマイクロホン２について、順次、周波数ｂｉｎ毎の処理を開始する。
【０１０７】
このように図１５では、各マイクロホン２について周波数ｂｉｎ毎にゲイン関数を求め、ノイズリダクション処理に適用していく。
この場合に、ステップＳ４０３、Ｓ４０４、Ｓ４０５の処理で、ゲイン関数の算出手法が選択される。
ステップＳ４０６に進む場合はゲイン関数計算が行われる。
ステップＳ４０７に進む場合は周波数方向の補間によりゲイン関数が求められる。
ステップＳ４０８に進む場合は空間方向の補間によりゲイン関数が求められる。
【０１０８】
以下、これらのゲイン関数の処理について説明する。
上記の図１５の処理は雑音辞書データＤを利用したノイズリダクションの一例である。即ち辞書Ｄｉ（ｋ，θ，φ，ｌ）をテンプレートとして周波数ｋごとにゲイン関数Ｇ（ｋ）を計算する（ｉ：雑音種別、ｋ：周波数、θ：方位角、φ：仰角、ｌ：距離）。そして推定雑音パワーを、辞書を利用して算出する事でゲイン関数の精度の向上を図る。
但しステップＳ４０６では雑音辞書データＤを利用せず、ステップＳ４０７，Ｓ４０８の処理で雑音辞書データＤを利用するものとしている。
【０１０９】
そしてゲイン関数を求めたら、ゲイン関数を周波数毎に適用してノイズリダクション出力を得る。スペクトルゲイン関数を適用するノイズリダクション方式の場合、
Ｘ（ｋ）＝Ｇ（ｋ）Ｙ（ｋ）
となる。Ｘ（ｋ）はノイズリダクション処理された音声信号出力、Ｇ（ｋ）はゲイン関数、Ｙ（ｋ）はマイクロホン２による音声信号入力である。
【０１１０】
まずステップＳ４０７のゲイン関数計算について述べる。
ゲイン関数計算では、目的音の振幅（／位相）の確率密度分布に特定の分布形状を仮定（目的音の種別等に応じて変化）して行う。
ステップＳ４０３での推定雑音パワー、事前ＳＮＲ、事後ＳＮＲのアップデートは、ゲイン関数計算に利用される。
【０１１１】
本実施の形態の場合、図５のようにＳＮＲ推定部３４が雑音区間推定結果の情報を取得することで、目的音が存在しない時間区間を判定できる。
そこで目的音が存在しない時間区間を利用して雑音パワーσN2を推定する。
事前ＳＮＲは抑圧対象の雑音に対する目的音のＳＮＲであるが、次のようになる。
【０１１２】
【数３】
2020079957.tif 000005
【０１１３】
ここで式中の文字は次のとおりである。
ξ（λ，ｋ）：事前ＳＮＲ
λ：時間フレームインデックス
ｋ：周波数インデックス
σS2：目的音パワー
σN2：雑音パワー
このように事前ＳＮＲは、目的音の存在しないノイズのみの区間から雑音パワーσN2を推定するとともに目的音パワーσS2を算出することで求めることができる。
【０１１４】
また事後ＳＮＲはノイズ重畳後の実際の観測音の抑圧対象の雑音に対するＳＮＲであり、毎フレームで観測信号（目的音＋雑音）のパワーを求め計算する。事後ＳＮＲは次のようになる。
【０１１５】
【数４】
2020079957.tif 000006
【０１１６】
ここで式中の文字は次のとおりである。
γ（λ，ｋ）：事後ＳＮＲ
Ｒ2：観測信号（目的音＋雑音）パワー
【０１１７】
そして以上の事前ＳＮＲ、事後ＳＮＲから雑音を抑圧するゲイン関数Ｇ（λ，ｋ）を計算する。ゲイン関数Ｇ（λ，ｋ）は次の通りである。なおν，μは音声の振幅の確率密度分布パラメータである。
【０１１８】
【数５】
2020079957.tif 000007
【０１１９】
ここで“ｕ”は次のとおりである。
【０１２０】
【数６】
2020079957.tif 000008
【０１２１】
図１５のステップＳ４０６では、例えば以上のようにゲイン関数を求める。これは、ステップＳ４０４で現在の周波数における対象雑音以外のパワーが所定値以下であるとされる場合である。これは、例えば該当のマイクロホン２及び周波数ｂｉｎについて突発的なノイズ成分等が存在せず、上記（数５）のゲイン関数の精度が高いと推定される場合となる。
【０１２２】
但し、マイクロホン２による音声信号において、実際には除去したい雑音のみが存在する時間区間は存在しない。即ち必ず暗騒音や非定常な雑音などが存在し、雑音スペクトルの推定誤差が発生する。
そして目的音や非定常な雑音が含まれる区間を雑音区間と誤判定することで、雑音スペクトルの推定誤差が大きくなる。
そこで雑音源の指向特性とその周波数特性を用いて信頼できない帯域やマイクロホン信号におけるゲイン関数の計算を補間することでノイズリダクション精度を向上させる。それがステップＳ４０７，Ｓ４０８での処理となる、
【０１２３】
まずステップＳ４０７の周波数軸上のゲイン関数補間について説明する。
なお計算対象のマイクロホン２のマイクインデックス＝ｍとする。またｋ，ｋ’は周波数インデックスである。以下ではマイクインデックス＝ｍのマイクロホン２を「マイクロホンｍ」というように表記する。
【０１２４】
以下の［１］［２］［３］の処理を、ノイズリダクションを行うマイクロホンｍ（雑音源−マイクロホン２間の方位角θ、仰角φ、距離ｌ）ごとに実行する。
【０１２５】
［１］目的音が存在しないと判定された時間区間で雑音パワーσN2を推定する。
【０１２６】
［２］その他の雑音（あるいは目的音）が存在する可能性の低い帯域ｋを求める。帯域ｋは、その他の雑音源や目的音の成分が存在する可能性が低い帯域である。
上記の推定雑音パワーσN2を用いて各ノイズリダクション方式に基づき事前ＳＮＲ、事後ＳＮＲ、ゲイン関数Ｇｍ（ｋ）を計算する。
【０１２７】
［３］その他の雑音（あるいは目的音）が存在する可能性の高い帯域ｋ’を求める。
雑音辞書データＤ（ｋ’，θ，φ，ｌ）を取得し、推定雑音パワーσN2を周辺帯域から得る。
マイクロホンｍ、時間フレームλ、周波数帯域ｋの雑音パワーを、σN,M2（λ、ｋ）と表記すると、これは周辺帯域ｋ’の推定雑音パワーσN,M2（λ、ｋ’）と雑音辞書データＤから次のように表すことができる。
【０１２８】
【数７】
2020079957.tif 000009
【０１２９】
そして得た推定雑音パワーから事前ＳＮＲ、事後ＳＮＲ、ゲイン関数Ｇｍ（ｋ）を算出する。
このようにゲイン関数は観測音（目的音＋雑音）に対する目的音の比率、雑音成分の占める割合の比例計算を周波数間で補間すること計算できる。
なお、周波数ｋごとに独立してゲイン関数を更新するのではなく、すでにゲイン関数を計算した帯域と雑音の周波数特性の整合性が取れるように更新することが望ましい。
また推定雑音スペクトルの信頼度の低い帯域ｋ’ではそれを利用せず、信頼度の高い帯域のゲイン関数から雑音指向特性辞書を用いて算出することも考えられる。
なお過去の時間フレームでの推定雑音パワーとの適切な時定数を用いた線形混合などでも良い。
【０１３０】
ステップＳ４０８の空間方向のゲイン関数補間は次のようになる。
既にゲイン関数の更新を終えたマイクロホンｍ’（方位角θ’、仰角φ’、距離ｌ’)がある場合は、その結果を利用して推定雑音パワーσN,M2を算出し、ゲイン関数Ｇｍ（ｋ）を計算する。
マイクロホンｍの推定雑音パワーσN,M2（λ、ｋ）と、マイクロホンｍ’の推定雑音パワーσN,M'2（λ、ｋ）は、次のように表される。
【０１３１】
【数８】
2020079957.tif 000010
【０１３２】
即ち他のマイクロホンｍ’を用いた空間方向の補間では、観測音（目的音＋雑音）に対する目的音の比率、雑音成分の占める割合の比例計算をマイクロホン間で行うことでゲイン関数を求める。
なお実際のマイクロホンｍの推定雑音スペクトルから計算したゲイン関数との線形混合でもよい。
【０１３３】
これらの補間を行うことで、ノイズリダクションの高性能化や効率化を実現できる。
即ち実用上性能劣化の原因となる雑音スペクトルの推定誤差による悪影響を低減可能である。雑音源の指向特性情報を用いて、目的音やその他の雑音の少ない帯域の雑音パワーからその他の雑音パワーを精度良く推定できるためである。
また、ある方位、距離に存在するマイクロホン２の観測信号に適用するゲイン関数からその他のマイクロホン２のゲイン関数を高速に計算することができる。
また、マイクロホン２間でのゲイン関数の整合性を満たす事が可能である。例えば接触などの突発ノイズが混入しているマイクロホン２があってもその他のマイクロホン２の推定雑音パワーと雑音指向性辞書から精度の高い雑音パワー、ゲイン関数の計算が可能である。
【０１３４】
なお図１５の処理は、周波数方向の補間と空間方向の補間を使い分ける例であるが、これに加えて、或いは代えて、周波数方向及び空間方向の補間を行うようにすることも考えられる。
【０１３５】
続いて伝達関数を考慮する場合について説明する。
雑音−受音点間の伝達関数を考慮する場合は次の［１］［２］［３］［４］の処理を行う。
［１］雑音源から受音点までの伝達特性Ｈ（ｋ，θ，φ，ｌ）を取得する。
【０１３６】
［２］ゲイン関数の計算時に、辞書に伝達特性の畳み込みを行う。伝達関数が考慮された辞書をＤｉ’（ｋ，θ，φ，ｌ）とすると、
Ｄｉ’（ｋ，θ，φ，ｌ）＝Ｄｉ（ｋ，θ，φ，ｌ）＊｜Ｈ（ｋ，θ，φ，ｌ）｜
とする。Ｄｉ（ｋ，θ，φ，ｌ）は雑音辞書データ、Ｈ（ｋ，θ，φ，ｌ）は伝達関数である。
【０１３７】
［３］各ノイズリダクションの方式に基づきゲイン関数を計算する。この場合、雑音辞書データＤｉではなく、上記の伝達特性の畳み込みを行った雑音辞書データＤｉ’を用いて推定雑音パワーを更新し、それを用いてゲイン関数を算出する。
【０１３８】
［４］ゲイン関数を適用し、ノイズリダクションされた出力を得る。
上記のように、ノイズリダクション処理された音声信号出力Ｘ（ｋ）は、Ｘ（ｋ）＝Ｇ（ｋ）Ｙ（ｋ）となるが、この場合のゲイン関数Ｇ（ｋ）は、雑音辞書データＤｉ’（ｋ，θ，φ，ｌ）から計算されたものとなる。
【０１３９】
なお伝達関数は、雑音源から受音点（マイクロホン２）までの伝達関数を距離で簡略化した伝達関数Ｈ（ω，θ，ｌ）としたり、雑音源、受音点の位置を座標で指定する伝達関数Ｈ（ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２）とすることなども考えられる。
即ち伝達関数Ｈはある空間における雑音源、受音点の位置（３次元座標）を引数とした関数で表現されるものである。
また、適切に座標を離散化する事によってデータとして記録されていてもよい。
また２点間の距離で簡略化した関数ないしデータとして記録してもよい。
【０１４０】
＜７．まとめ及び変形例＞
以上の実施の形態によれば次のような効果が得られる。
実施の形態の音声信号処理装置１は、雑音の種別及び受音点（実施の形態の場合はマイクロホン２の位置）と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部６２から読み出される雑音辞書データＤを取得する制御演算部５と、受音点に配置されたマイクロホン２により得られた音声信号について雑音辞書データＤを用いて雑音抑圧処理を行うＮＲ部３（雑音抑圧部）とを備えている。
少なくとも雑音の種別ｉとマイクロホン２が配置された受音点と雑音源の間の方位（θ又はφ）の情報に応じた雑音辞書データを用いることで、ＮＲ部３において、マイクロホン２からの音声信号に対して効果的に雑音抑圧を行うことができる。これは様々な音源は固有の放射特性を持っており、全方位に一様に音声が放射されるわけではなく、この点についてノイズの種別ｉと方位（θ又はφ）に応じた放射特性を考慮する事で雑音抑圧の性能をあげることができるためである。
現実空間において例えばテレプレゼンス用音響機器やテレビジョン等を設置し、常設稼働する場合、雑音源と受音点（例えばマイクロホン２）までの距離、方位が固定されることも多い。例えばテレビジョンは一度設置すると移動する事も少なく、エアコンディショナーに対するテレビジョン搭載のマイクロホンの位置などが具体例として挙げられる。またテーブルに座る人間の音声なども収録音声から除去したい場合は位置固定なケースにあてはまる。特にこれらのような場合、方位情報、さらには設置空間内の２点間の空間伝達特性を有効活用して雑音源の抑圧を行う事で収録音の高音質化を行うことが可能となる。
一方でスマートスピーカーなど移動設置型の機器を設置する場合は、同じ設置環境であったとしても設置場所が変わった場合はノイズ源の方位、距離を再度推定する必要があり、音源種別／方位情報、事前に得られている２点間空間伝達特性の組み合わせにより最適な雑音抑圧を行う構成も考えられる。
この際、設置環境が変わらない場合は、事前に得られている設置環境の３Ｄ形状寸法データ、静止音源の方位／距離情報を活用し、精度良く動的な方位／距離推定を行う事もできる。
なお完全な方向性ノイズであればマルチマイクロホンによるビームフォーミングによる雑音抑圧も可能であるが、環境の残響特性によっては十分な効果が得られないこともあり、また雑音方位と目的音方位によっては目的音源を劣化させてしまうことがある。そこで本実施の形態の技術と組み合わせることも有効である。
【０１４１】
第２の実施の形態では、制御演算部５は、各種の環境下における２点間の伝達関数を保持する伝達関数データベース部６３から、設置環境情報に基づいて雑音源と受音点の間の伝達関数を取得し、ＮＲ部３は、雑音抑圧処理に伝達関数を用いる例を述べた。
ノイズの種別ｉと方位（θ又はφ）に応じた放射特性を考慮する事、及び空間における残響反射の特性を示す空間伝達特性（伝達関数Ｈ）を考慮する事により、雑音抑圧の性能をより向上させることができる。
【０１４２】
実施の形態では、設置環境情報は受音点から雑音源の距離ｌの情報を含み、制御演算部５は、種別ｉ、方位（θ又はφ）、距離ｌを引数に含んで雑音データベース部６２から雑音辞書データＤを取得する例を述べた。
設置環境情報が雑音の種別ｉと、受音点から雑音源の方位（θ又はφ）及び距離ｌを含むとともに、雑音データベース部６２には、少なくともこれらの種別ｉ、方位（θ又はφ）、距離ｌに応じた雑音辞書データが記憶されているようにすることで、種別ｉ、方位（θ又はφ）、距離ｌに応じた雑音辞書データを特定できる。
そして雑音源と受音点の距離ｌも反映させることで、距離ｌによるノイズレベルの減衰も反映させることができる。これにより雑音抑圧の性能をより向上させることができる。
【０１４３】
実施の形態では、設置環境情報は方位として受音点と雑音源の間の方位角θと仰角φの情報を含み、制御演算部５は、種別ｉ、方位角θ、仰角φを引数に含んで雑音データベース部６２から雑音辞書データＤを取得する例を挙げた。
即ち方位の情報は、受音点と雑音源の位置関係を２次元にみたときの方向の情報ではなく、上下方向の位置関係（仰角）も含めた３次元的な方向の情報とする。
設置環境情報は雑音の種別ｉと、受音点から雑音源の方位角θ、仰角φ、及び距離ｌを含むようにし、雑音データベース部６２には、少なくともこれらの種別ｉ、方位角θ、仰角φ、距離ｌに応じた雑音辞書データが記憶されているものとする。
雑音源と受音点の方位として、方位角θと仰角φを反映させることで、３次元空間内でより正確な方位によるノイズの性質を考慮した雑音抑圧を行うことができ、雑音抑圧性能を向上させることができる。
【０１４４】
実施の形態では、設置環境情報を記憶した設置環境情報保持部６１を備える例を述べた（図３Ｂ、図１３、図１４参照）。
例えば音声信号処理装置の設置に応じて、設置環境情報として予め入力された情報を記憶しておくようにする。実際の設置環境に応じて予め設置環境情報を取得しておくことで、実際のＮＲ部３の稼働時に適切に雑音辞書データを得ることができるようになる。
【０１４５】
第１，第２の実施の形態では、制御演算部５は、ユーザ操作により入力される設置環境情報を保存する処理を行う例を述べた（図１３参照）。
制御演算部５は、設置環境情報入力部５２としての機能により、ユーザが実際の設置環境に応じて予め設置環境情報を入力する場合に、その設置環境を取得して設置環境情報保持部６１に記憶していくようにする。これにより実際のＮＲ部３の稼働時にユーザが指定した設置環境に応じた雑音辞書データＤを雑音データベース部６２から得ることができる。
【０１４６】
第３、第４の実施の形態では、制御演算部５は、受音点と雑音源の間の方位又は距離を推定する処理を行い、推定結果に応じた設置環境情報を保存する処理を行う例を挙げた。
制御演算部５は、雑音方位／距離推定部５４としての機能により、実際の設置環境に応じて予め雑音源との間の方位や距離を推定し、推定結果を設置環境情報として設置環境情報保持部６１に記憶していくようにする。これによりユーザによる設置環境情報の入力が行われなくとも、ＮＲ部３の稼働時に設置環境に応じた雑音辞書データＤを雑音データベース部６２から得ることができる。
また設置位置が移動された際なども、わざわざユーザが新たに設置環境情報を入力することなく、方位、距離の推定に基づいて新たな設置環境情報に更新することもできる。
【０１４７】
第４の実施の形態では、制御演算部５は、受音点と雑音源の間の方位又は距離を推定する際に、当該雑音源の種別の雑音が所定の時間区間に存在するかどうかの判定を行う例を挙げた。
これにより雑音源との間の方位や距離を的確に推定できる。
【０１４８】
第５の実施の形態では、制御演算部５は、撮像装置による撮像画像に基づいて判定した設置環境情報を保存する処理を行う例を挙げた。
例えば音声信号処理装置１が使用環境に設置された状態で、入力デバイス７としての撮像装置により画像撮像を行う。制御演算部５は、形状／種別推定部５５としての機能により、実際の設置環境で撮像された画像を解析し、雑音源の種別や、方位や距離等を推定する。この推定結果を設置環境情報として設置環境情報保持部６１に記憶していくことで、ユーザによる設置環境情報の入力が行われなくとも、ＮＲ部３の稼働時に設置環境に応じた雑音辞書データＤを雑音データベース部６２から得ることができる。
また設置位置が移動された際なども、わざわざユーザが新たに設置環境情報を入力することなく、撮像画像の解析に基づいて新たな設置環境情報に更新することもできる。
【０１４９】
第５の実施の形態では、制御演算部５は、撮像画像に基づいて形状推定を行うことを述べた。例えば音声信号処理装置１が使用環境に設置された状態で、撮像装置により画像撮像を行い、設置空間の３次元形状を推定する。
制御演算部５は、形状／種別推定部５５としての機能により、実際の設置環境で撮像された画像を解析し、設置空間の３次元形状を推定し、かつ雑音源の有無、位置を推定することができる。この推定結果を設置環境情報として設置環境情報保持部６１に記憶していく。これにより設置環境情報を自動取得できる。例えば雑音源となる家電製品を判定したり、空間形状から距離、方位、音声の反射状況などを的確に認識できる。
【０１５０】
実施の形態のＮＲ部３は、雑音データベース部６２から取得した雑音辞書データＤを用いてゲイン関数を計算し、該ゲイン関数を用いてノイズリダクション処理（雑音抑圧処理）を行うものとした。
これにより環境情報に応じたゲイン関数を求めることができ、環境に適応した雑音抑圧処理が実行される。
【０１５１】
また実施の形態のＮＲ部３は、雑音データベース部６２から取得した雑音辞書データＤに、雑音源と受音点の間の伝達関数をたたみ込むことで得られる、伝達関数Ｈを反映した雑音辞書データＤ’に基づいてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行う例を述べた。
即ち伝達関数Ｈを反映させる場合に雑音辞書データＤを変形する。これにより雑音源と受音点の伝達関数を考慮したゲイン関数を求めることができ、雑音抑圧性能を向上させることができる。
【０１５２】
図１５で説明したように実施の形態のＮＲ部３は、ノイズリダクション処理において所定の条件判定（Ｓ４０４，Ｓ４０５）に応じて、周波数方向のゲイン関数補間を行い（Ｓ４０７）、補間されたゲイン関数を用いて雑音抑圧処理（Ｓ４０９）を行う例を述べた。
例えばある周波数ｂｉｎにおいて、突発的なノイズなどにより除去対象雑音以外のパワーが大きい場合、その周波数ｂｉｎにおいては除去対象の雑音を除去するためのゲイン関数が適切に算出できないことが想定される。そこで、近隣の周波数ｂｉｎの状況を判定し、近隣の周波数ｂｉｎにおいて除去対象雑音以外のパワーが大きくなければ、その周波数ｂｉｎにおけるゲイン係数を用いて補間を行う。特に雑音辞書データを用いることで容易な計算で適切な補間が可能となる。これにより雑音抑圧性能が向上されるとともに、処理負荷の軽減や、それによる処理速度向上も実現できる。
【０１５３】
また図１５の処理例では、ＮＲ部３は、所定の条件判定（Ｓ４０４，Ｓ４０５）に応じて、空間方向のゲイン関数補間を行い（Ｓ４０８）、補間されたゲイン関数を用いて雑音抑圧処理（Ｓ４０９）を行うものとした。
例えばマイクロホン２の間の方位角θの差を反映して空間方向のゲイン関数の補間を行うことでゲイン係数を算出できる。特に雑音辞書データを用いることで容易な計算で適切な補間が可能となる。これにより雑音抑圧性能が向上されるとともに、処理負荷の軽減や、それによる処理速度向上も実現できる。
特に図１５の処理のようにゲイン係数算出中の周波数ｂｉｎや、その近隣の周波数ｂｉｎにおいて除去対象雑音以外のパワーが大きい場合にも空間方向のゲイン関数補間を適用することで、周波数方向の補間が適切でないときも、適切なゲイン関数を求めることができる。
【０１５４】
実施の形態のＮＲ部３は、雑音の存在しない時間区間と雑音の存在する時間区間の推定結果を用いて雑音抑圧処理を行う例を述べた（図５参照）。
例えば時間区間として雑音の存在有無の推定に応じて事前ＳＮＲ、事後ＳＮＲを求め、ゲイン関数計算に反映させる。
これにより適切に雑音パワーを推定でき、適切なゲイン関数計算が可能となる。
【０１５５】
実施の形態の制御演算部５は、周波数帯毎に雑音データベース部から雑音辞書データを取得する例を挙げた。
即ち図１５で説明したように周波数ｂｉｎ毎に、設置環境情報（種別ｉ、方位角θ、仰角φ、距離ｌの全部又は一部）に応じた雑音辞書データを取得して、ゲイン関数を求める。これにより周波数ｂｉｎ毎に適切なゲイン関数による雑音抑圧処理が可能となる。
【０１５６】
実施の形態では伝達関数データベース部６３を記憶する記憶部６を備える例を挙げた（図３Ｂ参照）。
これにより音声信号処理装置１は単独で、実際のＮＲ部３の稼働時に適切に伝達関数Ｈを得ることができる。
【０１５７】
実施の形態では雑音データベース部６２を記憶する記憶部６を備える例を挙げた（図３Ｂ参照）。
これにより音声信号処理装置は単独で、実際のＮＲ部３の稼働時に適切に雑音辞書データＤを得ることができる。
【０１５８】
実施の形態としては、図２のように、制御演算部５は、外部機器との通信により雑音辞書データＤを取得する構成も例示した。
即ち音声信号処理装置内には雑音データベース部６２を保存しないで、例えばクラウド等に保存し、通信により雑音辞書データＤが取得できるようにする。
これにより音声信号処理装置１の記憶容量負担を削減できる。特に雑音データベース部６２は膨大なデータ量となる場合もあり、その場合に図２の記憶部６Ａのような外部リソースを用いることで、対応が容易となる。また雑音辞書データＤとしてはデータ量が充実されるほど、各種の環境に応じた雑音辞書データを保存されていることになる。つまり外部リソースに雑音データベース部６２を格納し、各音声信号処理装置１が雑音辞書データＤを通信に取得するようにすれば、各音声信号処理装置１の環境により適した雑音辞書データＤを取得できるようになる。これにより雑音抑圧性能をより向上させることができる。
なお、伝達関数データベース部６３を記憶部６Ａのような外部リソースに格納されるようにすることも同様の理由で好適となる。
さらに各音声信号処理装置１に対応して設置環境情報保持部６１としての機能を記憶部６Ａのような外部リソースに持たせることも可能で、これらにより音声信号処理装置１のハードウエア負担を軽くすることができる。
【０１５９】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【０１６０】
なお本技術は以下のような構成も採ることができる。
（１）
雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得する制御演算部と、
前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う雑音抑圧部と、を備えた
音声信号処理装置。
（２）
前記制御演算部は、各種の環境下における２点間の伝達関数を保持する伝達関数データベース部から、前記設置環境情報に基づいて雑音源と前記受音点の間の伝達関数を取得し、
前記雑音抑圧部は、雑音抑圧処理に前記伝達関数を用いる
上記（１）に記載の音声信号処理装置。
（３）
前記設置環境情報は前記受音点から雑音源の距離の情報を含み、
前記制御演算部は、前記種別、前記方位、前記距離を引数に含んで前記雑音データベース部から雑音辞書データを取得する
上記（１）又は（２）に記載の音声信号処理装置。
（４）
前記設置環境情報は前記方位として前記受音点と雑音源の間の方位角と仰角の情報を含み、
前記制御演算部は、前記種別、前記方位角、前記仰角を引数に含んで前記雑音データベース部から雑音辞書データを取得する
上記（１）から（３）のいずれかに記載の音声信号処理装置。
（５）
前記設置環境情報を記憶した設置環境情報保持部を備える
上記（１）から（４）のいずれかに記載の音声信号処理装置。
（６）
前記制御演算部は、ユーザ操作により入力される設置環境情報を保存する処理を行う
上記（１）から（５）のいずれかに記載の音声信号処理装置。
（７）
前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する処理を行い、推定結果に応じた設置環境情報を保存する処理を行う
上記（１）から（６）のいずれかに記載の音声信号処理装置。
（８）
前記制御演算部は、前記受音点と雑音源の間の方位又は距離を推定する際に、当該雑音源の種別の雑音が所定の時間区間に存在するかどうかの判定を行う
上記（７）に記載の音声信号処理装置。
（９）
前記制御演算部は、撮像装置による撮像画像に基づいて判定した設置環境情報を保存する処理を行う
上記（１）から（８）のいずれかに記載の音声信号処理装置。
（１０）
前記制御演算部は、撮像画像に基づいて形状推定を行う
上記（９）に記載の音声信号処理装置。
（１１）
前記雑音抑圧部は、
前記雑音データベース部から取得した雑音辞書データを用いてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行う
上記（１）から（１０）のいずれかに記載の音声信号処理装置。
（１２）
前記雑音抑圧部は、
前記雑音データベース部から取得した雑音辞書データに、雑音源と前記受音点の間の伝達関数をたたみ込むことで得られる、伝達関数を反映した雑音辞書データに基づいてゲイン関数を計算し、該ゲイン関数を用いて雑音抑圧処理を行う
上記（１）から（１１）のいずれかに記載の音声信号処理装置。
（１３）
前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、周波数方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行う
上記（１）から（１２）のいずれかに記載の音声信号処理装置。
（１４）
前記雑音抑圧部は、雑音抑圧処理において所定の条件判定に応じて、空間方向のゲイン関数補間を行い、補間されたゲイン関数を用いて雑音抑圧処理を行う
上記（１）から（１３）のいずれかに記載の音声信号処理装置。
（１５）
前記雑音抑圧部は、雑音の存在しない時間区間と雑音の存在する時間区間の推定結果を用いて雑音抑圧処理を行う
上記（１）から（１４）のいずれかに記載の音声信号処理装置。
（１６）
前記制御演算部は、周波数帯毎に前記雑音データベース部から雑音辞書データを取得する
上記（１）から（１５）のいずれかに記載の音声信号処理装置。
（１７）
前記伝達関数データベース部を記憶する記憶部を備える
上記（２）に記載の音声信号処理装置。
（１８）
前記雑音データベース部を記憶する記憶部を備える
上記（１）から（１７）のいずれかに記載の音声信号処理装置。
（１９）
前記制御演算部は、外部機器との通信により雑音辞書データを取得する
上記（１）から（１７）のいずれかに記載の音声信号処理装置。
（２０）
雑音の種別及び受音点と雑音源の間の方位の情報を含む設置環境情報に基づいて雑音データベース部から読み出される雑音辞書データを取得し、
前記受音点に配置されたマイクロホンにより得られた音声信号について前記雑音辞書データを用いて雑音抑圧処理を行う
音声信号処理装置による雑音抑圧方法。
【符号の説明】
【０１６１】
１  音声信号処理装置、２  マイクロホン、３  ＮＲ部、４  信号処理部、５，５Ａ  制御演算部、６，６Ａ  記憶部、７  入力デバイス、５１  管理・制御部、５２  設置環境情報入力部、５３  雑音区間推定部、５４  雑音方位／距離推定部、５５  形状／種別推定部、６１  設置環境情報保持部、６２  雑音データベース部、６３  伝達関数データベース部
【図１】
2020079957.tif 000011
【図２】
2020079957.tif 000012
【図３】
2020079957.tif 000013
【図４】
2020079957.tif 000014
【図５】
2020079957.tif 000015
【図６】
2020079957.tif 000016
【図７】
2020079957.tif 000017
【図８】
2020079957.tif 000018
【図９】
2020079957.tif 000019
【図１０】
2020079957.tif 000020
【図１１】
2020079957.tif 000021
【図１２】
2020079957.tif 000022
【図１３】
2020079957.tif 000023
【図１４】
2020079957.tif 000024
【図１５】
2020079957.tif 000025
【国際調査報告】
2020079957.tif 000026
2020079957.tif 000027
2020079957.tif 000028
2020079957.tif 000029