(57)【特許請求の範囲】
【請求項１】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
を備え、
前記雑音低減部は、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、
当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正する、音声信号処理装置。
【請求項２】
前記雑音低減部は、
前記風雑音が含まれる区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音のみが含まれる区間に対応する第２の低減係数を算出し、
前記風雑音を収音したときに前記第１の音声信号と前記第２の音声信号の間で前記風雑音に相互相関が発生する周波数帯域において、前記第１の低減係数から前記第２の低減係数を減算することで、前記第１の低減係数を補正する、請求項１に記載の音声信号処理装置。
【請求項３】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正するクロススペクトル補正部と、
前記クロススペクトル補正部により補正された前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
を備える、音声信号処理装置。
【請求項４】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
前記雑音低減部から出力された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去するフィルタ部と、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定する、フィルタ制御部と、
を備える、音声信号処理装置。
【請求項５】
前記第１のマイクロホンと前記第２のマイクロホンとの間の入力特性の相違により、前記第１の音声信号に含まれる所望音と前記第２の音声信号に含まれる前記所望音との間に振幅差又は位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との差分に基づいて、前記第２の音声スペクトル信号を補正する信号補正部を更に備え、
前記クロススペクトル算出部は、前記信号補正部により補正された前記第２の音声スペクトル信号と、前記第１の音声スペクトル信号から、前記クロススペクトルを算出する、請求項１〜４のいずれか１項に記載の音声信号処理装置。
【請求項６】
前記信号補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との二乗誤差を最小にするような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記第２の音声スペクトル信号を周波数成分ごとに補正する、請求項５に記載の音声信号処理装置。
【請求項７】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
を含む、音声信号処理方法。
【請求項８】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
を含む、音声信号処理方法。
【請求項９】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
を含む、音声信号処理方法。
【請求項１０】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
をコンピュータに実行させるためのプログラム。
【請求項１２】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
をコンピュータに実行させるためのプログラム。
【請求項１３】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【請求項１４】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正することと、
前記補正されたクロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【請求項１５】
風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換することと、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換することと、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出することと、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出することと、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減することと、
前記風雑音が低減された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去することと、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置、音声信号処理方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
動画撮像機能を有するカメラ又はＩＣレコーダ等の録音装置は、音声を収音して音声信号を出力するマイクロホンを備えている。このマイクロホンによる録音音声には、ユーザが録音を所望する音（周囲の環境音や人の話し声等。以下、所望音という。）のみならず、種々の雑音が混入することがある。例えば、屋外での録音時には、風がマイクロホンに当たることにより風雑音が発生し、該風雑音が所望音とともに収音されてしまう。この風雑音対策としては種々の方法が提案されているが、シングルマイクロホンの場合は、ハイパスフィルタ（低域遮断フィルタ）を用いて風雑音を除去することが一般的である。
【０００３】
また、複数のマイクロホンで得られる音声信号を利用して風雑音を低減する方法として、特許文献１には、２つのマイクロホンからの入力音声信号をそれぞれ周波数変換し、これら２つの信号間の相関を利用して、風雑音を検出・低減する方法が開示されている。詳細には、この特許文献１の低減方法では、当該２つの信号の相関値を周波数帯域ごとに計算し、当該相関値を閾値と比較することで、風雑音の有無を判定する。そして、風雑音が有ると判定された場合に、人間の聴覚特性を表すラウドネスに応じて入力音声信号の減衰量を決定し、周波数帯域ごとに風雑音の低減処理を行う。つまり、ラウドネス曲線の音圧レベルが大きくなる周波数帯域では減衰量を大きくする一方、当該音圧レベルが小さくなる周波数帯域（１０００〜４０００Ｈｚ）では減衰量を小さくして、低減処理を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の低減方法では、所望音の大きさを考慮せずに、ラウドネスのみにより減衰量が決定されるので、実際にマイクロホンで収音された所望音の特性を正しく反映することができず、所望音の不要な劣化をもたらすことがある。即ち、上記低減方法によれば、風雑音が検出されると、所望音の強さにかかわらず、同一の周波数帯域の入力音声信号に対して常に一定の利得を乗算して、入力音声信号を減衰させる。このため、所望音が抑揚（音量の強弱）を有する場合、風雑音が支配的になる、所望音の音量が小さい部分の信号は減衰され、所望音が支配的になる、所望音の音量が大きい部分の信号は減衰されない。従って、録音音声の再生時に、所望音が急に小さくなったり大きくなったりして、所望音の自然性が低下し、再生音の聞こえに違和感が生じる。
【０００６】
そこで、上記事情に鑑みれば、録音対象の所望音を劣化させることなく、風雑音等の雑音を適切に低減することが求められている。
【課題を解決するための手段】
【０００７】
本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出する相関成分算出部と、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出する全体成分算出部と、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正する雑音低減部と、を備える、音声信号処理装置が提供される。
【０００８】
また、本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、を含む、音声信号処理方法が提供される。
【０００９】
また、本開示によれば、第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、をコンピュータに実行させるためのプログラムが提供される。
【００１０】
また、本開示によれば、前記プログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。
【００１１】
また、本開示によれば、風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、を備える、音声信号処理装置が提供される。
【発明の効果】
【００１２】
以上説明したように本開示によれば、録音対象の所望音を劣化させることなく、風雑音等の雑音を適切に低減することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態に係る風雑音低減方法と従来の風雑音低減方法を概略的に示す模式図である。
【図２】２つの音声信号の時間波形と、両信号の相互相関係数を示す信号波形図である。
【図３】風雑音の周波数と、風雑音のスペクトル信号の相互相関係数との関係を示す図である。
【図４】所望音の周波数と、所望音のスペクトル信号の相互相関係数との関係を示す図である。
【図５】ウィナーフィルタの構成を示す模式図である。
【図６】同実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。
【図７】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図８】同実施形態に係るクロススペクトル算出部の動作を示すフローチャートである。
【図９】同実施形態に係るパワースペクトル算出部の動作を示すフローチャートである。
【図１０】同実施形態に係る雑音低減部の動作を示すフローチャートである。
【図１１】本開示の第２の実施形態に係る実施形態に係るデジタルカメラを示す斜視図である。
【図１２】同実施形態に係るスマートフォンを示す斜視図である。
【図１３】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図１４】同実施形態に係る信号処理部の概略動作を示すフローチャートである。
【図１５】同実施形態に係る信号処理部の詳細動作を示すフローチャートである。
【図１６】本開示の第３の実施形態に係るマイクロホンに対する音源の位置を示す模式図である。
【図１７】同実施形態に係る音源の位置に応じた相関係数の周波数特性を示す図である。
【図１８】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図１９】同実施形態に係るクロススペクトル補正部の概略動作を示すフローチャートである。
【図２０】同実施形態に係るクロススペクトル補正部の詳細動作を示すフローチャートである。
【図２１】本開示の第４の実施形態に係る風雑音の周波数と風雑音のスペクトル信号の相互相関係数との関係を示す図である。
【図２２】カットオフ周波数を示す図である。
【図２３】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図２４】同実施形態に係るフィルタ制御部の概略動作を示すフローチャートである。
【図２５】同実施形態に係るフィルタ制御部の詳細動作を示すフローチャートである。
【図２６】同実施形態に係るフィルタ部の概略動作を示すフローチャートである。
【図２７】本開示の第１の実施形態に係る算出方法により算出された低減係数と周波数との関係を示す図である。
【図２８】本開示の第５の実施形態に係る低減係数の補正方法を示す図である。
【図２９】同実施形態に係る雑音低減部の概略動作を示すフローチャートである。
【図３０】図２９のＳ１５６〜Ｓ１６０の詳細動作を示すフローチャートである。
【図３１】本開示の第６の実施形態に係る音声信号処理装置のハードウェア構成を示すブロック図である。
【図３２】同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【図３３】同実施形態に係る音声信号処理装置の録音装置の動作を示すフローチャートである。
【図３４】同実施形態に係る音声信号処理装置の処理装置の動作を示すフローチャートである。
【図３５】マイクロホンの暗騒音の周波数特性と相互相関係数を示す図である。
【図３６】ファンノイズの周波数特性と相互相関係数を示す図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．風雑音低減方法の概要
１．２．風雑音低減処理の原理
１．３．音声信号処理装置の構成
１．３．１．音声信号処理装置のハードウェア構成
１．３．２．音声信号処理装置の機能構成
１．４．音声信号処理方法
１．４．１．音声信号処理装置の全体動作
１．４．２．クロススペクトル算出部の動作
１．４．３．パワースペクトル算出部の動作
１．４．４．雑音低減部の動作
１．５．効果
２．第２の実施の形態
２．１．第２の実施形態の概要
２．２．音声信号処理装置の機能構成
２．３．数式の補足
２．４．音声信号処理方法
２．４．１．音声信号処理装置の全体動作
２．４．２．信号処理部の動作
２．５．効果
３．第３の実施の形態
３．１．第３の実施形態の概要
３．２．音声信号処理装置の機能構成
３．３．音声信号処理方法
３．３．１．音声信号処理装置の全体動作
３．３．２．クロススペクトル補正部の動作
３．４．効果
４．第４の実施の形態
４．１．第４の実施形態の概要
４．２．音声信号処理装置の機能構成
４．３．音声信号処理方法
４．３．１．音声信号処理装置の全体動作
４．３．２．フィルタ制御部の動作
４．３．３．フィルタの動作
４．４．効果
５．第５の実施の形態
５．１．第５の実施形態の概要
５．２．音声信号処理装置の機能構成
５．３．音声信号処理方法
５．３．１．音声信号処理装置の全体動作
５．３．２．雑音低減部の動作
５．４．効果
６．第６の実施の形態
６．１．音声信号処理装置のハードウェア構成
６．２．音声信号処理装置の機能構成
６．３．音声信号処理装置の動作
７．その他の適用例
【００１６】
＜１．第１の実施の形態＞
［１．１．風雑音低減方法の概要］
まず、本開示の第１の実施形態に係る音声信号処理装置及び方法による風雑音低減方法の概要について説明する。
【００１７】
本実施形態に係る音声信号処理装置及び方法は、音声記録装置又は音声再生装置において風雑音を低減する技術に関する。特に、本実施形態では、隣接した複数個のマイクロホンを有する録音機器において、録音機器のマイクロホンに風が当たることにより発生する風雑音を低減対象とする。以下では、音声信号処理装置が、例えば、動画撮像機能及び録音機能を有する撮像装置（小型のデジタルカメラ等）であり、複数のマイクロホンが左右２つのステレオマイクロホン（Ｌｃｈ、Ｒｃｈ）である例について説明する。しかし、本開示の音声信号処理装置及びマイクロホンは、かかる例に限定されない。
【００１８】
屋外において、デジタルカメラにより動画を撮像しながら周辺音声を録音するときには、マイクロホンに風が当たると、風雑音が発生する。一般的に、マイクロホンは、音波の音圧の変化を振動板の機械的な振動に変換し、該振動に基づき電気音響変換系を動作させる構造を有する。かかるマイクロホンで収音する際、風がマイクロホンの振動板に当たると、風雑音が発生する。なお、風雑音は、風により発生する雑音（ノイズ）であれば、上記マイクロホンの振動板に対して風が当たることより生じる雑音のみならず、任意の雑音を含む。
【００１９】
このような風雑音が発生する環境下では、デジタルカメラのマイクロホンは、所望音のみならず、風雑音をも収音してしまい、所望音に風雑音が雑音として混入した状態で録音されてしまう。ここで、所望音は、ユーザが録音を所望する音声（例えば、録音機器の周辺の環境音、人の話し声など、マイクロホンに収音される任意の音を含む。）である。かかる所望音に風雑音が雑音として混入した状態で録音されると、当該録音された音声を再生したときに、所望音に混入した風雑音がユーザにとって耳障りとなる。例えば、所望音は、１０００〜４０００Ｈｚの周波数帯域に多く分布し、風雑音は、１０００Ｈｚ以下の周波数帯域に多く分布する。このように風雑音と所望音の周波数帯域はずれているものの、所望音に風雑音が混入していると、録音音声の再生時に風雑音が聞き手にとって耳障りになってしまう。従って、音声記録時又は再生時に、所望音の音質を劣化させることなく、風雑音を適切に除去可能な技術が希求されていた。
【００２０】
そこで、本実施形態では、隣接する２つのマイクロホンを備えた音声記録装置で音声を集音したときに、両マイクロホンから入力される音声信号（以下、単に「入力音声信号」という場合もある。）の相関を利用して、風雑音を低減する。一般に、２つのマイクロホンで風雑音を収音した場合、両マイクロホンの入力信号の相関は低い。従って、当該２つの入力音声信号の相関値の大きさにより、風雑音の有無を判定することが可能である。例えば、上記特許文献１（特開２００９−５１３３号公報）に記載の技術でも、２つのマイクロホンからの入力音声信号の相関値と閾値を比較して、周波数帯域ごとに風雑音の有無を判定し、風雑音が有ると判定された周波数帯域の入力音声信号を減衰させる低減処理を行っている。
【００２１】
しかし、当該特許文献１の低減方法では、周波数のラウドネス量に応じて入力音声信号の減衰量を決定しているが、所望音自体の強さを全く考慮せずに減衰量を決定し、低減処理を行っている。しかし、かかる低減方法では、実際のマイクロホンにより収音された所望音の特性を低減処理に正しく反映させることができず、所望音の自然性の劣化を引き起こす。
【００２２】
そこで、本実施形態では、２つのマイクロホンからの入力音声信号中の風雑音に関する相関のみならず、所望音に関する相関も考慮して、風雑音の低減処理を行う。即ち、本実施形態では、２つの入力音声信号間の風雑音の相関に加え、当該入力音声信号間の所望音の相関、及び各入力音声信号の所望音の強さも考慮して、所望音の特徴と風の特徴に応じた連続的な低減係数を算出し、当該低減係数を用いて雑音低減処理を行う。これにより、実際にマイクロホンにより収音された入力音声信号に応じた適切な低減量を得ることができる。従って、所望音の音質（自然性）を確保し、不要に所望音を劣化させることなく、風雑音を好適に低減することができる。
【００２３】
ここで、図１を参照して、本実施形態に係る風雑音低減方法と、上記特許文献１に係る従来の風雑音低減方法との相違について説明する。図１は、本実施形態に係る風雑音低減方法と従来の風雑音低減方法を概略的に示す模式図である。
【００２４】
従来の低減方法では、ある周波数帯域の２つの入力音声信号の相関値が小さいため風雑音が有ると判断されると、図１（ａ）に示すように、所望音の強さ（音量）にかかわらず、その周波数帯域の入力音声信号に対して一定の低減係数（利得）が乗算される。これにより、風雑音が有ると判定された区間（所望音が比較的小さい区間）では、風雑音とともに所望音が一定の割合で減衰され、風雑音が無いと判定された区間（所望音が比較的大きい区間）では、所望音が減衰されない。このため、マイクロホンにより収音される所望音が抑揚（音量の強弱）を有する場合、所望音が弱い区間のみが低減されてしまう。従って、録音音声の再生時に、所望音が急に大きくなったり小さくなったりして、所望音の連続性が不自然になり、ユーザは不自然な再生音声に違和感を覚える。
【００２５】
これに対し、本実施形態に係る低減方法では、図１（ｂ）に示すように、風雑音の強さと所望音の強さを考慮して低減係数を算出し、当該低減係数を用いて低減処理がなされる。即ち、本実施形態では、周波数帯域ごとに、２つのマイクロホンの入力音声信号間の相関成分（所望音）のパワーと、各入力音声信号の全体成分（所望音及び風雑音）のパワーを求める。さらに、周波数帯域ごとに、当該全体成分のパワーに対する相関成分のパワーの比率を算出し、当該比率に応じた低減係数を算出する。かかる低減係数は、風雑音の強さのみならず所望音の強さも反映した値であり、所望音の強さに応じて変動する。そして、周波数帯域ごとに、当該低減係数を各入力音声信号に乗じて、当該信号を減衰させることで、風雑音を低減する。
【００２６】
このように、本実施形態では、入力音声の全体成分（所望音＋風雑音）に占める相関成分（所望音）の割合に応じて、低減係数を決定する。これにより、当該比率が小さい区間（風雑音が相対的に大きい区間）では、風雑音を大きく低減することができる。当該比率が大きい区間（風雑音が相対的に小さい区間）でも、比率に応じ風雑音を低減することができる。所望音は多少劣化してしまうが、従来技術のように、所望音の抑揚が強調されることは少なくなる。従って、元々の所望音の抑揚をなるべく確保しつつ、風雑音を適切に低減することができる。よって、録音音声の再生時に、所望音の連続性が自然になり、上記従来の低減方法の場合のような違和感を解消できる。
【００２７】
なお、本実施形態では、録音機器の筐体に相互に隣接して配置された複数個のマイクロホンを用いるが、ここで、隣接とは、複数のマイクロホン間の距離が、例えば７ｃｍ程度以下、好ましくは５ｃｍ程度以下であることを意味する。風の成分が概ね１ｋＨｚ以下の周波数成分を含み、その周波数成分を低減することを想定した場合、マイクロホン間の距離が上記距離の範囲内であれば、当該周波数成分を適切に低減できる。マイクロホン間の距離が所定距離以上（例えば１０ｃｍ以上）離れすぎると、双方のマイクロホンで収音される所望音の相関性が低くなるので、上記距離の範囲内であることが好ましい。
【００２８】
また、以下では、録音機器に２つのマイクロホンを設置する例について説明するが、マイクロホンの設置数は３以上であってもよく、この場合には風雑音の低減性能をより向上できる。
【００２９】
［１．２．風雑音低減処理の原理］
次に、本実施形態に係る音声信号処理装置により風雑音を低減する原理について説明する。
【００３０】
［１．２．１．風雑音、所望音の相互相関］
一般に、風雑音は、空気の塊が録音機器の筺体などに当たることで発生する乱流により生じ、不規則な音声信号として観測される。そのため、風雑音は、異なる位置に配置された２つのマイクロホンにより、相互に無相関な音声信号として収音される。
【００３１】
図２は、隣接した２つのマイクロホン（ステレオマイクロホン）から出力されるＬｃｈの音声信号ｘＬ及びＲｃｈの音声信号ｘＲの時間波形と、両信号ｘＬ、ｘＲの相互相関係数を示す。図２において、２つのマイクロホンの間隔は２ｃｍである。図２に示すように、風雑音のみを含む区間（波線で囲む区間）では、両信号ｘＬ、ｘＲの相互相関係数はほぼゼロとなっており、両信号ｘＬ、ｘＲの間には相関が無いことが分かる。
【００３２】
図３は、風雑音の周波数と、風雑音のスペクトル信号ＸＬ、ＸＲの相互相関係数との関係を示す。この図３は、２つのマイクロホンから入力された風雑音の音声信号ｘＬ、ｘＲ、を周波数変換して、風雑音のスペクトル信号ＸＬ、ＸＲを生成し、周波数ごとに両信号ＸＬ、ＸＲの相互相関係数を算出した結果を示している。図３においても、２つのマイクロホンの間隔は２ｃｍである。図３に示すように、風雑音が強い１ｋＨｚ以下の周波数帯域Ｂ１では、両信号ＸＬ、ＸＲの相互相関係数がゼロに近い。従って、周波数ごとにみても、２つのマイクロホンで収音される風雑音の信号は、相互に無相関であることがわかる。ただし、２００Ｈｚ前後の低い周波数帯域Ｂ２では、２つのマイクロホンの間隔に比べて風雑音の波長が非常に大きくなるため、両信号ＸＬ、ＸＲの相関が高くなる。
【００３３】
一方、隣接した２つのマイクロホンで所望音を収音した場合について検討する。図４は、所望音の周波数と、所望音のスペクトル信号ＸＬ、ＸＲの相互相関係数との関係を示す。なお、図４の結果は、図２、３と同様に２つのマイクロホンの間隔が２ｃｍである場合において、周波数ごとに、所望音のスペクトル信号ＸＬ、ＸＲの相互相関係数を算出した結果を示している。図４に示すように、風雑音の強い１ｋＨｚ以下の周波数帯域では、両信号ＸＬ、ＸＲの相互相関係数は、ほぼ１となり、２つのマイクロホンで収音される所望音の信号は、相互に高い相関を有することがわかる。
【００３４】
以上の結果から、隣接した２つのマイクロホンにより風雑音を集音した場合には、当該マイクロホンから出力される２つの音声信号の相関はゼロであり、所望音を集音した場合には、当該マイクロホンから出力される２つの音声信号の相関は１であるとみなすことができる。
【００３５】
［１．２．２．低減係数の算出方法］
次に、風雑音を低減するための低減係数Ｇについて説明する。本実施形態では、２つのマイクロホンから出力された音声信号ｘＬ、ｘＲをフーリエ変換して音声スペクトル信号ＸＬ、ＸＲを得て、周波数成分ごとに低減係数Ｇを求める。そして、音声スペクトル信号ＸＬ、ＸＲの各周波数成分に当該低減係数Ｇを乗算することで、周波数成分ごとに異なる減衰比率で音声スペクトル信号ＸＬ、ＸＲを減衰させて、風雑音を低減する。本実施形態に係る風雑音の低減処理の特徴は、上記低減係数Ｇの算出方法にある。以下に低減係数Ｇの算出方法について説明する。
【００３６】
なお、以下の説明において、「ｘ」、「ｘ（ｍ）」は、マイクロホンから入力された音声信号（時間領域）を表す。「Ｘ」、「Ｘ（ｋ）」、「Ｘ（ｋ、ｍ）」は、マイクロホンから入力された音声信号（時間領域）を周波数領域に変換した音声スペクトル信号を表す。「ｓ」、「ｓ（ｍ）」は、マイクロホンから入力された所望音（時間領域）を表す。また、「Ｓ」、「Ｓ（ｋ）」、「Ｓ（ｋ、ｍ）」は、所望音のスペクトル成分を表す。「ｗ」、「ｗ（ｍ）」は、マイクロホンから入力された風雑音（時間領域）を表す。「Ｗ」、「Ｗ（ｋ）」、「Ｗ（ｋ、ｍ）」は、風雑音のスペクトル成分を表す。また、「ｎ」は時間インデックス（音声信号を所定時間毎にサンプリングしたときの各時間成分を表す指標）、「ｋ」は周波数インデックス（音声スペクトル信号を所定の周波数帯域毎に分割したときの各周波数成分を表す指標）、「ｍ」はサンプリングされた信号をあるまとまった数毎に束ねて扱う際のフレームインデックス（音声信号の各フレームを表す指標）である。以下では、説明の便宜上、周波数成分やフレームを明示する必要がない場合は、時間インデックスｎや、周波数インデックスｋ、フレームインデックスｍを適宜省略して表記する。
【００３７】
本実施形態に係る音声信号処理装置は、第１のマイクロホンから入力された音声信号ｘＬと、第２のマイクロホンから入力された音声信号ｘＲとの相関成分を表すパラメータとして、音声信号ｘＬと音声信号ｘＲとのクロススペクトルＣＬＲを求める。この際、音声スペクトル信号Ｘの周波数成分Ｘ（ｋ）ごとに、クロススペクトルＣＬＲ（ｋ）を求める。クロススペクトルＣＬＲ（ｋ）は、２つの音声信号ｘＬ、ｘＲのスペクトルＸＬ、ＸＲの周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）を相互に掛け合わせた上で平均したものである。クロススペクトルＣＬＲ（ｋ）が、大きな値を示すことは、その周波数帯域においては、２つの音声信号ｘＬ、ｘＲの周波数成分同士の相関が大きい上に、両者の周波数成分の大きさも大きいということを意味する。
【００３８】
さらに、音声信号ｘＬ、ｘＲの全体成分を表すパラメータとして、音声信号ｘＬ、ｘＲのパワースペクトルＰＬ、ＰＲを算出する。この際も、音声スペクトル信号ＸＬ、ＸＲの周波数成分ＸＬ（ｋ）、ＸＲ（ｋ）ごとに、パワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）を求める。パワースペクトルＰＬ、ＰＲは、音声信号ｘＬ、ｘＲのパワーを一定の周波数帯域毎に分割し、各周波数帯域のパワーを周波数の関数として表したものである。
【００３９】
そして、次の式（１）、（２）のように、周波数成分ごとにクロススペクトルＣＬＲ（ｋ）をパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）でそれぞれ除算して、周波数成分ごとの低減係数ＧＬ（ｋ）、ＧＲ（ｋ）を求める。この低減係数ＧＬ（ｋ）、ＧＲ（ｋ）は、「音声信号ｘＬ、ｘＲの全体成分を表すパラメータ（ＰＬ、ＰＲ）」に対する「音声信号ｘＬと音声信号ｘＲの相関成分を表すパラメータ（ＣＬＲ）」の比率に相当する。
ＧＬ（ｋ）＝ＣＬＲ（ｋ）／ＰＬ（ｋ）  ・・・（１）
ＧＲ（ｋ）＝ＣＬＲ（ｋ）／ＰＲ（ｋ）  ・・・（２）
【００４０】
さらに、次の式（３）、（４）のように、周波数成分ごとに低減係数ＧＬ（ｋ）、ＧＲ（ｋ）を音声スペクトル信号ＸＬ（ｋ）、ＸＲ（ｋ）にそれぞれ乗算して、ＸＬ（ｋ）、ＸＲ（ｋ）を減衰させ、風雑音が低減された音声スペクトル信号ＹＬ（ｋ）、ＹＲ（ｋ）を得る。その後、この信号ＹＬ（ｋ）、ＹＬ（ｋ）を時間領域に変換して、風雑音が低減された音声信号ｙＬ、ｙＲを得る。
ＹＬ（ｋ）＝ＧＬ（ｋ）・ＸＬ（ｋ）  ・・・（３）
ＹＲ（ｋ）＝ＧＲ（ｋ）・ＸＲ（ｋ）  ・・・（４）
【００４１】
以上のように、本実施形態に係る音声信号処理装置は、低減係数Ｇ（ｋ）を音声スペクトル信号Ｘ（ｋ）に乗算することで、風雑音を低減する。上記低減係数Ｇの算出方法について詳述する。
【００４２】
所望音と風雑音を含む音声信号ｘ（ｍ）を周波数領域に変換した音声スペクトル信号Ｘ（ｋ，ｍ）は、所望音のスペクトル信号Ｓ（ｋ，ｍ）と、風雑音のスペクトル信号Ｗ（ｋ，ｍ）を用いて以下の式（１０）、（１１）で表される。
ＸＬ（ｋ，ｍ）＝ＳＬ（ｋ，ｍ）＋ＷＬ（ｋ，ｍ）  ・・・（１０）
ＸＲ（ｋ，ｍ）＝ＳＲ（ｋ，ｍ）＋ＷＲ（ｋ，ｍ）  ・・・（１１）
【００４３】
まず、クロススペクトルＣＬＲの算出式について説明する。２つのマイクロホンから入力される音声信号ｘＬとｘＲのクロススペクトルＣＬＲ（ｋ）は、以下の式（１３）で表される。ＣＬＲ（ｋ）は、周波数成分ごとに、一方の音声スペクトル信号ＸＬ（ｋ）と、他方の音声スペクトル信号ＸＲ（ｋ）の複素共役であるＸ＊Ｒ（ｋ）とを掛け合わせたものの期待値（平均値）である。実際には、ＣＬＲ（ｋ）として、ＸＲ（ｋ）とＸ＊Ｒ（ｋ）とを掛け合わせたものの時間平均を求めればよい。
【００４４】
ここで、所望音と風雑音の間には相関がないと仮定すると、式（１３）の右辺第２項及び第３項がゼロとなるので、式（１４）が得られる。さらに、上記のように風雑音の相互相関はゼロと見なすことができるので、式（１４）の右辺第２項はゼロとなる。また。所望音の相互相関は１と見なすことができるので、式（１５）のように簡略できる。この結果、式（１３）〜（１５）から式（１６）が得られる。
【００４５】
【数１】
0005998483.tif 000002
【００４６】
次に、パワースペクトルＰＬ、ＰＲの算出式について説明する。音声信号ｘＬのパワースペクトルＰＬ（ｋ）は、以下の式（１７）で表される。さらに、所望音と風雑音の間には相関がないと仮定すると、式（１７）の右辺第２項及び第３項がゼロとなるので、式（１８）が得られる。また、音声信号ｘＲのパワースペクトルＰＲ（ｋ）の算出式（１９）も同様にして得られる。
【００４７】
【数２】
0005998483.tif 000003
【００４８】
以上のようにして求めたクロススペクトルＣＬＲをパワースペクトルＰＬ、ＰＲでそれぞれ除算することで、以下の式（２０）、（２１）に示すように、周波数成分ごとに低減係数ＧＬ、ＧＲが算出される。
【００４９】
【数３】
0005998483.tif 000004
【００５０】
上記式（２０）、（２１）に示す低減係数ＧＬ、ＧＲは、音声信号ｘから風雑音成分の信号ｗを除いた所望音成分の信号ｓを得るためのウィナーフィルタ（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒ）に相当する。このウィナーフィルタ形式の低減係数ＧＬ、ＧＲを用いることで、実際にマイクロホンから入力された音声信号ｘから風雑音成分の信号ｗを除去し、最適な所望音成分の信号ｓを推定することができる。ここで、最適とは、所望音の元信号と推定信号との間の複素スペクトルの二乗誤差が最小となるように、所望音成分の信号ｓを推定できることを意味する。以下に、このウィナーフィルタ形式の低減係数ＧＬ、ＧＲの意義について説明する。
【００５１】
［１．２．３．ウィナーフィルタ形式の低減係数の意義］
ウィナーフィルタは、元信号ｓ（ｎ）に対して二乗誤差｛（ｓ（ｎ）−ｓ’（ｎ））２｝が最小となるような信号ｓ’（ｎ）を推定するためのフィルタである。具体的には、図５（ａ）に示すように、外部から元信号ｓ（ｎ）と無相関な雑音ｎ（ｎ）が元信号ｓ（ｎ）に対して加わり、ｘ（ｎ）のみが収音される場合を考える。この場合、ｓ（ｎ）のみを収音できないので、実際に収音された信号ｘ（ｎ）からｓ（ｎ）を推定せざるを得ない。この際、元信号ｓ（ｎ）に対して信号波形上の二乗距離（二乗誤差）を最小にする推定信号ｓ’（ｎ）を求めるためのフィルタが、ウィナーフィルタである。
【００５２】
本実施形態では、マイクロホンから入力された音声信号ｘをフレーム化して周波数変換した音声スペクトル信号Ｘを、周波数成分ごとに処理する。そこで、上記図５（ａ）のウィナーフィルタは、図５（ｂ）に示すように変形できる。なお、ｋは周波数インデックス、ｍはフレームインデックスである。
【００５３】
図５（ｂ）に示すように、所望音のスペクトル信号Ｓ（ｋ，ｍ）に対して、外部から元信号Ｓ（ｋ，ｍ）と無相関な雑音のスペクトル信号Ｎ（ｋ，ｍ）が加わり、Ｘ（ｋ，ｍ）が観測される場合を考える。この場合も、信号Ｘ（ｋ，ｍ）から所望音の元信号Ｓ（ｋ，ｍ）を推定せざるを得ないので、元信号Ｓ（ｋ，ｍ）に対して複素スペクトル上で二乗誤差を最小にする推定信号Ｓ’（ｋ，ｍ）を求めることになる。つまり、以下の式（３０）、（３１）で示すＧ（ｋ）を推定することになる。
【００５４】
【数４】
0005998483.tif 000005
【００５５】
上記式（３０）の右辺を展開すると、以下の式（３２）が得られる。また、上記式（３０）の右辺を最小にするＧ（ｋ）を求めるためには、以下の式（３３）を解けばよい。そこで、式（３３）に式（３２）を代入して整理すると、以下の式（３４）が得られる。
【００５６】
【数５】
0005998483.tif 000006
【００５７】
また、音声全体のスペクトルＸ（ｋ，ｍ）は、所望音のスペクトルＳ（ｋ，ｍ）と雑音のスペクトルＮ（ｋ，ｍ）の和である。そこで、上記式（３４）に、Ｘ（ｋ，ｍ）＝Ｓ（ｋ，ｍ）＋Ｎ（ｋ，ｍ）を代入すると、以下の式（３５）が得られる。ここで、所望音の元信号Ｓと雑音の信号Ｎは無相関であると仮定しているので、以下の式（３６）、（３７）が成り立つ。
【００５８】
【数６】
0005998483.tif 000007
【００５９】
以上から、Ｇ（ｋ）の算出式として、以下の式（３８）を得ることができる。
【００６０】
【数７】
0005998483.tif 000008
【００６１】
この式（３８）は、上述したＧ（ｋ）の算出式（２０）、（２１）と同一である。上記式（２０）、（２１）では、パワースペクトルＰＬ、ＰＲに対するクロススペクトルＣＬＲの比率として、低減係数ＧＬ（ｋ）、ＧＲ（ｋ）を求めた。これに対し、上記式（３０）〜（３８）のようにして、観測信号Ｘから元信号Ｓを推定するためのウィナーフィルタＧ（ｋ）を求めた場合も、同様な式が得られる。
【００６２】
そもそもウィナーフィルタは、観測信号から、元信号に対する二乗誤差が最小となる推定信号を得るための推定方式である。つまり、元信号の推定方式として他にも様々な方式がある中で、ウィナーフィルタによる推定方式によれば、元信号と推定信号との距離が最小になるということである。
【００６３】
従って、本実施形態に係る低減係数Ｇが上記ウィナーフィルタ形式で記述される（式（２０）、（２１）参照。）ということは、風雑音以外の所望音の推定信号として、複素スペクトルの二乗距離において所望音の元信号に最も近い推定信号を得ることができることを意味する。従って、本実施形態に係るウィナーフィルタ形式の低減係数ＧＬ、ＧＲを用いることで、所望音の元信号に対して複素スペクトルの二乗誤差が最小となるように、所望音の推定信号を適切に推定することができる。
【００６４】
上記特許文献１の技術では、２つの入力音声信号の相関値から風雑音が有ると判定された場合に、常に一定の低減係数を音声スペクトルに乗算して、風雑音を低減していた。これに対し、本実施形態では、上記風雑音の強さＷ（ｋ）や相関のみならず、所望音の強さＳ（ｋ）や相関をも考慮して、ウィナーフィルタ形式の低減係数Ｇを算出する（式（２０）、（２１））。そして、当該低減係数Ｇを音声スペクトル信号Ｘに乗算して（式（３）、（４））、風雑音を低減する。係る低減方法により、所望音の劣化を抑制して、所望音の自然な抑揚を確保しつつ、風雑音を適切に低減することが可能になる。
【００６５】
［１．３．音声信号処理装置の構成］
［１．３．１．音声信号処理装置のハードウェア構成］
次に、図６を参照して、本実施形態に係る音声信号処理装置のハードウェア構成例について説明する。図６は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。
【００６６】
本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。
【００６７】
図６に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声処理部６０と、制御部７０と、操作部８０とを備える。
【００６８】
撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。
【００６９】
撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
【００７０】
撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り調整機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。
【００７１】
また、タイミングジェネレータ（ＴＧ）１３は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像処理部２０に入力される。
【００７２】
画像処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。
【００７３】
アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ  ｄｏｕｂｌｅ  ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。
【００７４】
表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。
【００７５】
記録媒体４０は、上記撮像画像のデータ、そのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。
【００７６】
収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、２つの外部音声収録用のマイクロホン５１Ｌ、５１Ｒからなるステレオマイクロホンで構成される。マイクロホン５１Ｌ、５１Ｒは、デジタルカメラ１の同一の筐体に、相互に隣接して配置される。２つのマイクロホン５１Ｌ、５１Ｒは、外部音声を収音して得られた音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。
【００７７】
音声処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声処理部６０による雑音低減処理を特徴としているが、その詳細説明は後述する。
【００７８】
制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。
【００７９】
制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。
【００８０】
ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。また、制御部７０は、マイクロホン５１Ｌ、５１Ｒにより収音された音声信号から雑音を低減するために、音声処理部６０の動作を制御する。
【００８１】
操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。
【００８２】
［１．３．２．音声信号処理装置の機能構成］
次に、図７を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図７は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【００８３】
図７に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒとを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
【００８４】
マイクロホン５１Ｌ、５１Ｒは、上述したステレオマイクロホンを構成する。マイクロホン５１Ｌ（第１のマイクロホンに相当する。）は、Ｌチャンネルの音声を収音するためのマイクロホンであり、デジタルカメラ１の外部から伝わる外部音声を収音してＬｃｈ用の音声信号ｘＬ（第１の音声信号）を出力する。マイクロホン５１Ｒ（第２のマイクロホンに相当する。）は、Ｒチャンネルの音声を収音するためのマイクロホンであり、上記外部音声を収音してＲｃｈ用の音声信号ｘＲ（第２の音声信号）を出力する。これらマイクロホン５１Ｌ、５１Ｒは、相互に隣接して配置されており、両マイクロホン５１Ｌ、５１Ｒの間隔は、例えば５ｃｍ以下である。
【００８５】
かかるマイクロホン５１Ｌ、５１Ｒ（以下、マイクロホン５１と総称する。）は、デジタルカメラ１周辺の外部音声（環境音、人の話し声等の所望音）を録音するためのマイクロホンである。しかし、マイクロホン５１に風が当たるときには、風雑音が発生して上記外部音声に混入する。従って、マイクロホン５１Ｌ、５１Ｒを通じて入力される音声信号ｘＬ、ｘＲには、所望音成分のみならず、風雑音成分も含まれることとなる。そこで、音声信号ｘＬ、ｘＲから風雑音等の雑音成分を除去するために、以下の各部が設けられている。
【００８６】
周波数変換部６１Ｌ、６１Ｒ（以下、周波数変換部６１と総称する。）は、フレーム単位で、時間領域の音声信号ｘＬ、ｘＲを、周波数領域の音声スペクトル信号ＸＬ、ＸＲに変換する機能を有する。ここで、スペクトルとは、周波数スペクトルを意味する。音声信号ｘＬ、ｘＲの時間変化に追従するために、周波数変換部６１は、例えば２０〜３０ｍｓ毎に周波数変換することが望ましい。
【００８７】
周波数変換部６１Ｌ（第１の周波数変換部）には、Ｌｃｈ用のマイクロホン５１Ｌから音声信号ｘＬが入力される。周波数変換部６１Ｌは、音声信号ｘＬを所定時間のフレーム単位で分割し、当該分割された音声信号ｘＬをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＬを生成する。同様に、周波数変換部６１Ｒ（第２の周波数変換部）には、Ｒｃｈ用のマイクロホン５１Ｒから音声信号ｘＲが入力される。周波数変換部６１Ｒは、音声信号ｘＲを所定時間のフレーム単位で分割し、当該分割された音声信号ｘＲをフーリエ変換することで、周波数ごとのパワーを示した音声スペクトル信号ＸＲを生成する。
【００８８】
クロススペクトル算出部６２には、周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、周波数変換部６１Ｒから音声スペクトル信号ＸＲが入力される。クロススペクトル算出部６２は、音声スペクトル信号ＸＬ及び音声スペクトル信号ＸＲを演算することにより、音声信号ｘＬと音声信号ｘＲとのクロススペクトルＣＬＲを算出する。クロススペクトル算出部６２は、相関成分算出部の一例であり、音声信号ｘＬと音声信号ｘＲとの相関成分を表すパラメータとして、クロススペクトルＣＬＲを算出する。かかるクロススペクトル算出部６２は、上述した式（１６）により、音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、ＣＬＲ（ｋ）を算出する。なお、クロススペクトル算出部６２によるクロススペクトルＣＬＲの算出処理の詳細は後述する。
【００８９】
パワースペクトル算出部６３Ｌ、６３Ｒ（以下、パワースペクトル算出部６３と総称する。）は、音声信号ｘＬ、音声信号ｘＲのパワースペクトルＰＬ、ＰＲを算出する機能を有する。パワースペクトル算出部６３は、全体成分算出部の一例であり、音声信号ｘＬ、音声信号ｘＲの全体成分を表すパラメータとして、パワースペクトルＰＬ、ＰＲをそれぞれ算出する。
【００９０】
パワースペクトル算出部６３Ｌ（第１のパワースペクトル算出部）には、周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力される。パワースペクトル算出部６３Ｌは、音声スペクトル信号ＸＬを演算することにより、音声信号ｘＬのパワースペクトルＰＬを算出する。同様に、パワースペクトル算出部６３Ｒ（第２のパワースペクトル算出部）には、周波数変換部６１Ｒから音声スペクトル信号ＸＲが入力される。パワースペクトル算出部６３Ｒは、音声スペクトル信号ＸＲを演算することにより、音声信号ｘＲのパワースペクトルＰＲを算出する。かかるパワースペクトル算出部６３は、上述した式（１８）、（１９）により、音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、パワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）を算出する。なお、クロススペクトル算出部６３によるパワースペクトルＰＬ、ＰＲの算出処理の詳細は後述する。
【００９１】
雑音低減部６４Ｌ、６４Ｒ（以下、雑音低減部６４と総称する。）は、上記クロススペクトルＣＬＲ及びパワースペクトルＰＬ、ＰＲから低減係数ＧＬ、ＧＲを算出し、当該低減係数ＧＬ、ＧＲを用いて音声スペクトル信号ＸＬ、ＸＲを補正して、風雑音を低減する機能を有する。
【００９２】
雑音低減部６４Ｌ（第１の雑音低減部）には、周波数変換部６１Ｌから音声スペクトル信号ＸＬが入力され、クロススペクトル算出部６２からクロススペクトルＣＬＲが入力され、パワースペクトル算出部６３ＬからパワースペクトルＰＬが入力される。雑音低減部６４Ｌは、Ｌｃｈの音声信号ｘＬの風雑音を低減するための低減係数ＧＬとして、Ｌｃｈの音声信号ｘＬのパワースペクトルＰＬに対するクロススペクトルＣＬＲの比率を算出する（ＧＬ＝ＣＬＲ／ＰＬ）。同様に、雑音低減部６４Ｒ（第２の雑音低減部）には、周波数変換部６１Ｒから音声スペクトル信号ＸＲが入力され、クロススペクトル算出部６２からクロススペクトルＣＬＲが入力され、パワースペクトル算出部６３ＲからパワースペクトルＰＲが入力される。雑音低減部６４Ｒ（第２の雑音低減部）は、Ｒｃｈの音声信号ｘＲの風雑音を低減するための低減係数ＧＲとして、Ｒｃｈの音声信号ｘＲのパワースペクトルＰＲに対するクロススペクトルＣＬＲの比率を算出する（ＧＲ＝ＣＬＲ／ＰＲ）。かかる雑音低減部６４Ｌ、６４Ｒは、上述した式（２０）、（２１）により、音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、低減係数ＧＬ、ＧＲを算出する。
【００９３】
さらに、雑音低減部６４Ｌは、周波数変換部６１Ｌから入力される音声スペクトル信号ＸＬに低減係数ＧＬを乗算して、音声スペクトル信号ＸＬを減衰させ、風雑音が低減された音声スペクトル信号ＹＬ（ｋ）を出力する（上記式（３）を参照。）。同様に、雑音低減部６４Ｒは、周波数変換部６１Ｒから入力される音声スペクトル信号ＸＲに低減係数ＧＲを乗算して、音声スペクトル信号ＸＲを減衰させ、風雑音が低減された音声スペクトル信号ＹＲを出力する（上記式（４）を参照。）この際、雑音低減部６４は、上述した式（３）、（４）のように、音声スペクトル信号ＸＬ、ＸＲの周波数成分ごとに、当該信号ＸＬ（ｋ）、ＸＲ（ｋ）に低減係数ＧＬ、ＧＲを乗算して、音声スペクトル信号ＹＬ、ＹＲを生成する。なお、雑音低減部６４による雑音低減処理の詳細は後述する。
【００９４】
時間変換部６５Ｌ、６５Ｒ（以下、時間変換部６５と総称する。）は、周波数領域の音声スペクトル信号ＹＬ、ＹＲを、時間領域の音声信号ｙＬ、ｙＲに逆変換する機能を有する。時間変換部６５Ｌ（第１の時間変換部）は、雑音低減部６４Ｌから入力される音声スペクトル信号ＹＬを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＬを生成する。同様に、時間変換部６５Ｒ（第２の時間変換部）は、雑音低減部６４Ｒから入力される音声スペクトル信号ＹＲを逆フーリエ変換することで、フレーム単位ごとの音声信号ｙＲを生成する。かかる音声信号ｙＬ、ｙＲは、音声信号ｘＬ、ｘＲに含まれていた風雑音成分が適切に除去された後の所望音成分の音声信号である。
【００９５】
以上、本実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。音声処理部６０は、上記デジタルカメラ１による動画及び音声の記録中に、２つのマイクロホン５１Ｌ、５１Ｒから入力される音声信号ｘＬ、ｘＲのクロススペクトルＣＬＲ及びパワースペクトルＰＬ、ＰＲから、当該音声信号ｘＬ、ｘＲの特性に応じた低減係数ＧＬ、ＧＲを算出する。そして、当該低減係数ＧＬ、ＧＲを利用して、外部音声から風雑音を適切に低減する。この際、所望音の強さ等に応じて変動する適切な低減係数ＧＬ、ＧＲを用いるので、所望音に強弱が有る場合であっても、所望音が自然な連続性を保つように信号を減衰させることができるので、所望音の音質劣化を抑制できる。
【００９６】
［１．４．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。
【００９７】
［１．４．１．音声信号処理装置の全体動作］
まず、上記図７で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘＬ、ｘＲをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘＬ（ｍ）、ｘＲ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘＬ（ｍ）、ｘＲ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲを周波数成分ごとに出力する。この音声スペクトル信号ＸＬ、ＸＲの周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）は、信号ＸＬ、ＸＲを所定の帯域幅の周波数帯域に分割したものである。
【００９８】
周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲのｋ番目の周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２によりクロススペクトルＣＬＲ（ｋ）が算出されると同時に、パワースペクトル算出部６３Ｌ、６３ＲによりパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）が算出される。
【００９９】
そして、雑音低減部６４Ｌにより、ＣＬＲ（ｋ）とＰＬ（ｋ）から低減係数ＧＬ（ｋ）が算出されて、音声スペクトル信号ＸＬのｋ番目の周波数成分ＸＬ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が出力される。また、雑音低減部６４Ｒにより、ＣＬＲ（ｋ）とＰＲ（ｋ）から低減係数ＧＲ（ｋ）が算出されて、音声スペクトル信号ＸＬのｋ番目の周波数成分ＸＲ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号のｋ番目の周波数成分ＹＲ（ｋ，ｍ）が出力される。
【０１００】
そして、時間変換部６５Ｌ、６５Ｒにより、上記音声スペクトル信号ＹＬ、ＹＲのｋ番目の周波数成分ＹＬ（ｋ，ｍ）、ＹＲ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＬ（ｍ）、ｙＲ（ｍ）がフレーム単位で出力される。
【０１０１】
［１．４．２．クロススペクトル算出部の動作］
次に、図８を参照して、本実施形態に係るクロススペクトル算出部６２の動作について説明する。図８は、本実施形態に係るクロススペクトル算出部６２の動作を示すフローチャートである。
【０１０２】
図８に示すように、まず、クロススペクトル算出部６２は、周波数変換部６１Ｌから音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｒから音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）を取得する（Ｓ１０）。なお、ｍは、周波数変換するためにブロック化された音声信号ｘのフレームインデックス（フレーム番号）を示す。
【０１０３】
次いで、クロススペクトル算出部６２は、以下の式（４０）に示すように、音声スペクトル信号ＸＬ、音声スペクトル信号ＸＲを演算して、周波数成分ごとにクロススペクトルｃ（ｋ，ｍ）を算出する（Ｓ１２）。実際の計算では、ＸＬの虚部を用いずに実部のみを用いてｃ（ｋ，ｍ）を算出してもよい。
ｃ（ｋ，ｍ）＝Ｅ［ＸＬ（ｋ，ｍ）・ＸＲ＊（ｋ，ｍ）］
＝Ｅ［Ｒｅ（ＸＬ（ｋ，ｍ）・ＸＲ＊（ｋ，ｍ））］  ・・・（４０）
【０１０４】
その後、クロススペクトル算出部６２は、周波数成分ごとに、Ｓ１２で算出された現在のフレームのクロススペクトルｃ（ｋ，ｍ）と、過去に算出されたクロススペクトルＣＬＲ（ｋ）との平均値を算出し、各周波数成分のクロススペクトルＣＬＲ（ｋ）を更新する（Ｓ１４）。ここで、過去に算出されたクロススペクトルＣＬＲ（ｋ）とは、過去に入力されたフレームの音声信号ｘＬ、ｘＲから上記と同様にして算出されたクロススペクトルＣＬＲ（ｋ）の平均値である。
【０１０５】
具体的には、クロススペクトル算出部６２は、不図示の記憶部に記憶されている過去のＣＬＲ（ｋ）を読み出し、以下の式（４１）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＣＬＲ（ｋ）とｃ（ｋ，ｍ）を平滑化することにより、ＣＬＲ（ｋ）を更新する。このように、現在のフレームのｃ（ｋ，ｍ）と過去のフレームのＣＬＲ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高いクロススペクトルＣＬＲを算出できる。
ＣＬＲ（ｋ）＝ｒ・ＣＬＲ（ｋ）＋（１−ｒ）・ｃ（ｋ，ｍ）  ・・・（４１）
【０１０６】
［１．４．３．パワースペクトル算出部の動作］
次に、図９を参照して、本実施形態に係るパワースペクトル算出部６３の動作について説明する。図９は、本実施形態に係るパワースペクトル算出部６３の動作を示すフローチャートである。
【０１０７】
図９に示すように、まず、パワースペクトル算出部６３Ｌは、周波数変換部６１Ｌから音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）を取得し、パワースペクトル算出部６３Ｒは、周波数変換部６１Ｒから音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）を取得する（Ｓ２０）。
【０１０８】
次いで、パワースペクトル算出部６３Ｌ、６３Ｒはそれぞれ、以下の式（４２）、（４３）に示すように、音声スペクトル信号ＸＬ、ＸＲを演算して、周波数成分ごとにパワースペクトルｐＬ（ｋ，ｍ）、ｐＲ（ｋ，ｍ）を算出する（Ｓ２２）。
ｐＬ（ｋ，ｍ）＝ＸＬ（ｋ，ｍ）・ＸＬ＊（ｋ，ｍ）  ・・・（４２）
ｐＲ（ｋ，ｍ）＝ＸＲ（ｋ，ｍ）・ＸＲ＊（ｋ，ｍ）  ・・・（４３）
【０１０９】
その後、パワースペクトル算出部６３Ｌ、６３Ｒはそれぞれ、周波数成分ごとに、Ｓ２２で算出された現在のフレームのパワースペクトルｐＬ（ｋ，ｍ）、ｐＲ（ｋ，ｍ）と、過去に算出されたパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）との平均値を算出し、各周波数成分のパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）を更新する（Ｓ２４）。ここで、過去に算出されたパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）とは、過去に入力されたフレームの音声信号ｘＬ、ｘＲから上記と同様にして算出されたパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）の平均値である。
【０１１０】
具体的には、パワースペクトル算出部６３Ｌは、不図示の記憶部に記憶されている過去のＰＬ（ｋ）を読み出し、以下の式（４４）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＰＬ（ｋ）とｐＬ（ｋ，ｍ）を平滑化することにより、ＰＬ（ｋ）を更新する。同様に、パワースペクトル算出部６３Ｒは、不図示の記憶部に記憶されている過去のＰＲ（ｋ）を読み出し、以下の式（４５）に示すように、平滑化係数ｒ（０＜ｒ＜１）を用いてＰＲ（ｋ）とｐＲ（ｋ，ｍ）を平滑化することにより、ＰＲ（ｋ）を更新する。このように、現在のフレームのｐＬ（ｋ，ｍ）、ｐＲ（ｋ，ｍ）と過去のフレームのＰＬ（ｋ）、ＰＲ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高いパワースペクトルＰＬ、ＰＲを算出できる。
ＰＬ（ｋ）＝ｒ・ＰＬ（ｋ）＋（１−ｒ）・ｐＬ（ｋ，ｍ）  ・・・（４４）
ＰＲ（ｋ）＝ｒ・ＰＲ（ｋ）＋（１−ｒ）・ｐＲ（ｋ，ｍ）  ・・・（４５）
【０１１１】
［１．４．４．雑音低減部の動作］
次に、図１０を参照して、本実施形態に係る雑音低減部６４の動作について説明する。図１０は、本実施形態に係る雑音低減部６４の動作を示すフローチャートである。
【０１１２】
図１０に示すように、まず、雑音低減部６４Ｌは、周波数変換部６１Ｌから音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）を取得し、雑音低減部６４Ｒは、周波数変換部６１Ｌから音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）を取得する（Ｓ３０）。
【０１１３】
さらに、雑音低減部６４Ｌは、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｌから各周波数成分のパワースペクトルＰＬ（ｋ）を取得する（Ｓ３２）。同様に、雑音低減部６４Ｒは、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｒから各周波数成分のパワースペクトルＰＲ（ｋ）を取得する。
【０１１４】
次いで、雑音低減部６４Ｌは、以下の式（４６）に示すように、周波数成分ごとに、ＣＬＲ（ｋ）をＰＬ（ｋ）で除算して、音声スペクトル信号ＸＬ（ｋ）に含まれる風雑音成分を低減するための低減係数ＧＬ（ｋ）を算出する（Ｓ３４）。同様に、雑音低減部６４Ｒは、以下の式（４７）に示すように、周波数成分ごとに、ＣＬＲ（ｋ）をＰＲ（ｋ）で除算して、音声スペクトル信号ＸＲ（ｋ）に含まれる風雑音成分を低減するための低減係数ＧＲ（ｋ）を算出する（Ｓ３４）。
ＧＬ（ｋ）＝ＣＬＲ（ｋ）／ＰＬ（ｋ）  ・・・（４６）
ＧＲ（ｋ）＝ＣＬＲ（ｋ）／ＰＲ（ｋ）  ・・・（４７）
【０１１５】
その後、雑音低減部６４Ｌは、以下の式（４８）に示すように、各周波数成分の低減係数ＧＬ（ｋ）を音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）に乗算して、ＸＬ（ｋ，ｍ）を減衰させ、風雑音を低減する（Ｓ３６）。これにより、風雑音が低減された音声スペクトル信号ＹＬの各周波数成分ＹＬ（ｋ，ｍ）が得られる。同様に、雑音低減部６４Ｒは、以下の式（４９）に示すように、各周波数成分の低減係数ＧＲ（ｋ）を音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）に乗算して、ＸＲ（ｋ，ｍ）を減衰させ、風雑音を低減する。これにより、風雑音が低減された音声スペクトル信号ＹＲの各周波数成分ＹＲ（ｋ，ｍ）が得られる。
ＹＬ（ｋ，ｍ）＝ＧＬ（ｋ）・ＸＬ（ｋ，ｍ）  ・・・（４８）
ＹＲ（ｋ，ｍ）＝ＧＲ（ｋ）・ＸＲ（ｋ，ｍ）  ・・・（４９）
【０１１６】
以上の処理を、マイクロホン５１Ｌ、５１Ｒから入力される音声信号ＸＬ、ＸＲの全てのフレームについて繰り返すことにより、フレーム単位で風雑音が低減される。
【０１１７】
［１．５．効果］
以上、本開示の第１の実施形態に係る音声信号処理装置及び方法について詳細に説明した。本実施形態によれば、２つのマイクロホンから入力される音声信号ｘＬ、ｘＲをスペクトル信号ＸＬ、ＸＲに変換した上で、２つの音声信号ｘＬ、ｘＲ間の相関成分のパワー（クロススペクトルＣＬＲ）と、各音声信号ｘＬ、ｘＬの全体成分のパワー（パワースペクトルＰＬ、ＰＲ）を求める。そして、全体成分（パワースペクトルＰＬ、ＰＲ）に対する相関成分（クロススペクトルＣＬＲ）の比率を、低減係数ＧＬ、ＧＲに設定する。
【０１１８】
これにより、音声信号ｘＬ、ｘＬの相関だけでなく、所望音の特性と風雑音の特性に応じて、低減係数ＧＬ、ＧＲを適切に設定できる。このため、当該低減係数ＧＬ、ＧＲを用いてスペクトル信号ＸＬ、ＸＲを補正することで、所望音の音質（自然な連続性）を劣化させることなく、風雑音を低減することができる。従って、マイクロホンにより収音される所望音が抑揚（音量の強弱）を有する場合であっても、録音音声の再生時に、所望音が急に大きくなったり小さくなったりせず、所望音を自然に再生できる。よって、ユーザは、録音音声を聴く際に、風雑音の煩わしさを感じたり、所望音の違和感を憶えたりすることがない。
【０１１９】
＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態は、上記第１の実施形態と比べて、２つのマイクロホンの入力特性の相違を補正する機能を有する点で相違する。第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１２０】
［２．１．第２の実施形態の概要］
まず、第２の実施形態に係る音声信号処理装置及び方法の概要について説明する。第２の実施形態に係る音声信号処理装置は、２つのマイクロホンの特性が異なる場合に、当該２つのマイクロホン５１から入力される音声信号の振幅（利得）及び位相のずれを補正することを特徴とする。このように第２の実施形態に係る補正対象は、２つの音声信号間の振幅（利得）及び位相のずれである。
【０１２１】
２つのマイクロホンの特性が異なる場合には、これら２つのマイクロホンからそれぞれ入力される音声信号の特性も相違する。従って、２つのマイクロホンで同一の所望音を収音した場合であっても、２つの入力音声信号の間で振幅又は位相がずれてしまう。そうすると、２つのマイクロホンにより収音される所望音の相互相関が低下し、相互相関係数が１にならないため、上記クロススペクトルＣＬＲを算出する際に誤差が生じ、風雑音の低減処理に悪影響を及ぼす。従って、２つのマイクロホンの特性が異なる場合には、一方のマイクロホンからの入力音声信号の特性を、他方のマイクロホンからの入力音声信号の特性に合わせるように、一方若しくは双方の入力音声信号を補正することが好ましい。
【０１２２】
２つのマイクロホンの特性が異なる場合としては、以下の（ａ）、（ｂ）が挙げられる。
（ａ）そもそもマイクロホンの種類が異なるため、２つのマイクロホンからの入力音声信号間に振幅差又は位相差が生じる場合
（ｂ）２つのマイクロホンの種類は同じであるが、２つのマイクロホンの配置が特殊であるため、２つのマイクロホンからの入力音声信号間に振幅差又は位相差が生じる場合
【０１２３】
詳細には、上記（ａ）のマイクロホンの種類が異なる場合としては、例えば、以下の（ａ１）、（ａ２）の場合が挙げられる。
（ａ１）録音機器が同種（例えば同一の品番）の２つのマイクロホンを備えているが、２つのマイクロホンの素子の特性に誤差がある場合
（ａ２）録音機器が異種（品番、機能又は用途等が異なる）の２つのマイクロホンを備えており、２つのマイクロホンからの入力音声信号の特性が異なる場合（例えば、以下の例のように、通話用マイクロホンと動画撮像用マイクロホンを備える場合）
【０１２４】
また、上記（ｂ）のマイクロホンの配置が特殊な場合としては、例えば、以下の（ｂ１）、（ｂ２）の場合が挙げられる。
（ｂ１）２つのマイクロホンが録音機器の筐体の異なる位置に配置されている場合
（ｂ２）２つのマイクロホンが録音機器の筐体上で、所定距離以上離隔して配置されている場合
【０１２５】
また、上記の（ａ１）〜（ｂ２）等が組み合わされた場合にも、２つのマイクロホン間で入力音声信号の特性にずれが生じる。
【０１２６】
以上のような理由による２つのマイクロホンの特性の相違は、実際の録音動作前に予め測定し、補正しておくことが可能である。そこで、２つのマイクロホンで同一の所望音を収音したときに、２つのマイクロホンから入力される音声信号の特性を比較し、双方の特性（振幅や位相）が一致するように一方の音声信号を補正するための補正係数ｈを求めておく。そして、実際の録音動作時には、当該補正係数ｈを用いて少なくとも一方の音声信号を補正した上で、上述した第１の実施形態の雑音低減処理を行えばよい。なお、実際の録音動作時に、２つのマイクロホンから入力される音声信号から補正係数ｈを動的に算出して、少なくとも一方の音声信号の補正に反映させてもよい。
【０１２７】
ここで、上記マイクロホンの特性の相違に応じた補正処理について具体例を挙げて説明する。図１１は、上記（ａ）のマイクロホンの種類が異なる場合を示し、図１２は、上記（ｂ）のマイクロホンの配置が特殊である場合を示す。
【０１２８】
図１１に示す例では、デジタルカメラ１の筐体２の上面２ａに２つのマイクロホン５１Ｌ、５２Ｌ（例えばステレオマイクロホン）が隣接して設けられている。上記（ａ１）の場合のように、マイクロホン５１Ｌとマイクロホン５１Ｒは同種（同一の品番、機能及び用途）のマイクロホンであるが、各マイクロホン５１Ｌ、５１Ｒを構成する素子の誤差により、２つのマイクロホン５１Ｌ、５１Ｒ間で入力音声信号の特性が異なる場合がある。また、上記（ａ２）の場合のように、マイクロホン５１Ｌとマイクロホン５１Ｒが異なる種類のマイクロホンである場合には、当然ながら、両マイクロホン５１Ｌ、５１Ｒ間で入力音声信号の特性が異なる。
【０１２９】
かかる場合には、風雑音が無い環境下で、デジタルカメラ１の正面に配置されたスピーカ（図示せず。）から、試験音を出力し、それぞれのマイクロホン５１Ｌ、５１Ｒを用いて当該試験音を収音し、音声信号ｘＬ、ｘＲを測定する。この際、試験音は、デジタルカメラ１の正面側から同時にマイクロホン５１Ｌ、５１Ｒに到達するので、両信号ｘＬ、ｘＲに位相差が生じない。そして、Ｒｃｈ用のマイクロホン５１Ｒからの音声信号ｘＲの振幅特性が、Ｌｃｈ用のマイクロホン５１Ｌからの音声信号ｘＬの振幅特性と一致するように、音声信号ｘＲの振幅（利得）を補正する補正係数ｈを求める。そして、デジタルカメラ１を用いた実際の撮像動作時に、補正係数ｈを用いて音声信号ｘＲを補正することで、音声信号ｘＲの振幅特性を音声信号ｘＬの振幅特性に一致させる。これにより、上記マイクロホン５１Ｌ、５１Ｒの特性の相違に起因する、音声信号ｘＲと音声信号ｘＲの振幅のずれを解消して、同一の所望音を録音したときのｘＬとｘＲの相互相関を最大化（相互相関係数を１に近づける）ことができる。
【０１３０】
また、図１２に示す例では、スマートフォン３の筐体４の正面４ａに動画撮像用マイクロホン５１Ａが配置され、筐体４の背面４ｂに通話用マイクロホン５１Ｂが配置されている。このように、機器の構造上の制約や、マイクロホンの機能・用途面の要求などにより、２つのマイクロホン５１Ａ、５１Ｂを筐体４の同一の設置面に並べて配置せずに、異なる設置面に配置される場合（上記（ｂ）の場合）がある。この場合には、所望音の音源からマイクロホン５１Ａ、５１Ｂまでの距離や、マイクロホン５１Ａ、５１Ｂに対する所望音の入力方向が相違するので、マイクロホン５１Ａからの入力音声信号ｘＡとマイクロホン５１Ｂからの入力音声信号ｘＢとの間に位相差や振幅差が生じ得る。
【０１３１】
かかる場合には、スマートフォン３の正面に配置されたスピーカ（図示せず。）から、試験音を出力し、それぞれのマイクロホン５１Ａ、５１Ｂを用いて当該試験音を収音し、音声信号ｘＡ、ｘＢを測定する。この際、試験音は、各マイクロホン５１Ａ、５１Ｂに対し時間的にずれて到達するので、両信号ｘＡ、ｘＢに位相差が生じる。そこで、マイクロホン５１Ｂからの音声信号ｘＢの位相特性が、マイクロホン５１Ａからの音声信号ｘＡの位相特性と一致するように、音声信号ｘＢの位相を補正する補正係数ｈを求める。そして、スマートフォン３を用いた実際の録音撮像時に、補正係数ｈを用いて音声信号ｘＢを補正することで、音声信号ｘＢの位相特性を音声信号ｘＡの位相特性に一致させる。これにより、上記マイクロホン５１Ａ、５１Ｂの特殊な配置に起因する、音声信号ｘＡと音声信号ｘＢの位相のずれを解消して、同一の所望音を録音したときのｘＡとｘＢの相互相関を最大化（相互相関係数を１に近づける）ことができる。
【０１３２】
［２．２．音声信号処理装置の機能構成］
次に、図１３を参照して、本実施形態に係るスマートフォン３に適用された音声信号処理装置の機能構成例について説明する。図１３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０１３３】
なお、以下では、図１２に示した動画撮像用と通話用のマイクロホン５１Ａ、５１Ｂを備えたスマートフォン３を例に挙げ、通話用のマイクロホン５１Ｂを補助マイクロホンとして利用して、動画撮像用のマイクロホン５１Ａの音声信号ｘＡから風雑音を低減する例について説明する。
【０１３４】
図１３に示すように、音声信号処理装置は、２つのマイクロホン５１Ａ、５１Ｂと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ａ、６１Ｂと、クロススペクトル算出部６２と、１つのパワースペクトル算出部６３Ａと、１つの雑音低減部６４Ａと、１つの時間変換部６５Ａと、信号補正部６６とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
【０１３５】
図１３に示したように、第２の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、信号補正部６６をさらに備える点と、一方のマイクロホン５１Ａの音声信号ｘＡのみに対して雑音低減処理を行う点で相違する。以下、各部について説明する。
【０１３６】
マイクロホン５１Ａは、スマートフォン３の筐体４の正面４ａに設けられた動画撮像用のマイクロホンであり、マイクロホン５１Ｂは、筐体４の背面４ｂに設けられた通話用のマイクロホンである（図１２参照。）。マイクロホン５１Ａは、外部音声を収音して、音声信号ｘＡを出力し、マイクロホン５１Ｂは、外部音声を収音して、音声信号ｘＢを出力する。これら２つのマイクロホン５１Ａ、５１Ｂは異なる種類のマイクロホン構成されており、両者の入力特性は異なる。そこで、本実施形態では、このマイクロホン５１Ａ、５１Ｂの入力特性のずれを補正した上で、マイクロホン５１Ａからの入力音信号ｘＡに対して風雑音の低減処理を行う。
【０１３７】
周波数変換部６１Ａ、６１Ｂ（以下、周波数変換部６１と総称する。）は、フレーム単位で、時間領域の音声信号ｘＡ、ｘＢを、周波数領域の音声スペクトル信号ＸＡ、ＸＢに変換する機能を有する。この周波数変換部６１Ａ、６１Ｂは、上記第１の実施形態の周波数変換部６１Ｌ、６１Ｒと同様であるので、詳細説明は省略する。
【０１３８】
信号補正部６６は、第２の実施形態の特徴的なユニットであり、２つのマイクロホン５１Ａ、５１Ｂから入力される音声信号ｘＡ、ｘＢの特性のずれを補正する機能を有する。マイクロホン５１Ａとマイクロホンとの間の入力特性の相違により、音声信号ｘＡに含まれる所望音と音声信号ｘＢに含まれる所望音との間に振幅差又は位相差が生じるときに、信号補正部６６は、音声スペクトル信号ＸＡ、ＸＢの一方若しくは双方の補正処理を行う。
【０１３９】
具体的には、信号補正部６６は、周波数変換部６１Ａから音声スペクトル信号ＸＡが入力され、周波数変換部６１Ｂから音声スペクトル信号ＸＢが入力される。信号補正部６６は、音声スペクトル信号ＸＡ、ＸＢの差分に基づいて、上記振幅差又は位相差を補正するための補正係数ｈを算出し、補正係数ｈを用いて、一方の音声スペクトル信号ＸＢを補正することで、一方の音声信号ｘＢの振幅又は位相を、他方の音声信号ｘＡの振幅又は位相に合わせる。この際、信号補正部６６は、周波数成分ごとに、音声スペクトル信号ＸＡと音声スペクトル信号ＸＢとの間の二乗誤差を最小にするような補正係数ｈ（ｋ）を算出し、当該各補正係数ｈ（ｋ）を用いて一方の音声スペクトル信号ＸＢの各周波数成分ＸＢ（ｋ）を補正して、補正後の音声スペクトル信号Ｘ’Ｂの各周波数成分Ｘ’Ｂ（ｋ）を得る。なお、信号補正部６６による音声スペクトル信号Ｘの補正処理の詳細は後述する。
【０１４０】
クロススペクトル算出部６２は、周波数成分ごとに、音声スペクトル信号ＸＡ及び音声スペクトル信号Ｘ’Ｂを演算することにより、音声信号ｘＡと音声信号ｘＢとのクロススペクトルＣを算出する。このクロススペクトル算出部６２は、音声スペクトル信号ＸＢに代えて、信号補正部６６による補正後の音声スペクトル信号Ｘ’Ｂを用いる点を除いては、上記第１の実施形態のクロススペクトル算出部６２と同様であるので、詳細説明は省略する。
【０１４１】
パワースペクトル算出部６３Ａは、周波数成分ごとに、音声信号ｘＡのパワースペクトルＰＡを算出する機能を有する。このパワースペクトル算出部６３Ａは、上記第１の実施形態のパワースペクトル算出部６３Ｌと同様であるので、詳細説明は省略する。
【０１４２】
雑音低減部６４Ａは、周波数成分ごとに、上記クロススペクトルＣ及びパワースペクトルＰＡから低減係数ＧＡを算出し、当該低減係数ＧＡを用いて音声スペクトル信号ＸＡを補正して、風雑音を低減する機能を有する。この雑音低減部６４Ａは、上記第１の実施形態の雑音低減部６４Ｌと同様であるので、詳細説明は省略する。雑音低減部６４Ａは、雑音低減後の音声スペクトル信号ＹＡを出力する。
【０１４３】
時間変換部６５Ａは、雑音低減部６４Ａにより雑音が低減された周波数領域の音声スペクトル信号ＹＡを、時間領域の音声信号ｙＡに逆変換する機能を有する。この時間変換部６５Ａは、上記第１の実施形態の時間変換部６５Ｌと同様であるので、詳細説明は省略する。時間変換部６５Ａから出力された音声信号ｙＡは、スマートフォン３で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。
【０１４４】
以上、第２の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第２の実施形態では、２つのマイクロホン５１Ａ、５１Ｂの所望音の入力特性が相違する際に、信号補正部６６によりその入力特性のずれを補正した上で、上述したクロススペクトルＣとパワースペクトルＰＡの比率を利用した雑音低減処理を行う。従って、Ｃを算出する前段階で、２つのマイクロホン５１Ａ、５１Ｂの入力音声信号ｘＡ、ｘＢに含まれる所望音の振幅及び位相のずれを補正して、当該所望音の相互相関係数を最大化して、ほぼ１にすることができる。よって、所望音（入力音声信号間の相関成分）を表すクロススペクトルＣを正確に求めて、入力音声信号ｘＡ中に含まれる所望音を正確に推定できるので、風雑音を適切に低減することができる。
【０１４５】
［２．３．数式の補足］
次に、本実施形態に係るクロススペクトルＣ及びパワースペクトルＰから低減係数Ｇを算出するための数式について補足説明する。
【０１４６】
所望音と風雑音を含む音声信号ｘ（ｍ）を周波数領域に変換した音声スペクトル信号Ｘ（ｋ，ｍ）は、所望音のスペクトル信号Ｓ（ｋ，ｍ）と、風雑音のスペクトル信号Ｗ（ｋ，ｍ）を用いて以下の式（５０）、（５１）で表される。ＸＡは動画撮像用のマイクロホン５１Ａから入力された音声信号ｘＡをフーリエ変換した音声スペクトル信号であり、ＸＢは通話用のマイクロホン５１Ｂから入力された音声信号ｘＢをフーリエ変換した音声スペクトル信号である。
ＸＡ（ｋ，ｍ）＝ＳＡ（ｋ，ｍ）＋ＷＡ（ｋ，ｍ）  ・・・（５０）
ＸＢ（ｋ，ｍ）＝ＳＢ（ｋ，ｍ）＋ＷＢ（ｋ，ｍ）  ・・・（５１）
【０１４７】
上記第１の実施形態と同様に、２つの入力音声信号ｘＡ、ｘＢ間で風雑音の相互相関はゼロ、所望音と風雑音の相互相関はゼロであると仮定すると、２つのマイクロホンから入力される音声信号ｘＡとｘＢのクロススペクトルＣ（ｋ）は以下の式（５２）で表される。
【０１４８】
【数８】
0005998483.tif 000009
【０１４９】
ところが、動画撮像用マイクロホン５１Ａと通話用マイクロホン５１Ｂとでは、マイクロホンの向きなどにより所望音の入力特性が等しくない場合、入力音声信号ｘＡ、ｘＢ間で所望音の相関が１とはならない。そのため、かかる場合には、上記式（１６）が成立せず、次の式（５３）のように、クロススペクトルＣ（ｋ）は、所望音のパワースペクトルの推定値ＰＡに一致しない。そこで、入力音声信号ｘＡ、ｘＢ間の所望音の入力特性のずれを補正して、当該信号ｘＡ、ｘＢ間で所望音の相関を１に近づけるために、以下の式（５４）の誤差ｅ（ｋ）が最小となるような、補正係数ｈ（ｋ）を求める。この補正係数ｈ（ｋ）は、入力音声信号ｘＡの所望音と、入力音声信号ｘＢの所望音との二乗誤差を最小化する値に設定され、入力音声信号ｘＡ、ｘＢ間で所望音の相関が１になるような係数である。
【０１５０】
【数９】
0005998483.tif 000010
【０１５１】
このとき、上記ｈ（ｋ）により補正した音声スペクトル信号ｘＢを用いて、クロススペクトルＣを計算すると、以下の式（５５）となる。そして、上記と同様に、２つの入力音声信号ｘＡ、ｘＢ間で風雑音の相互相関はゼロ、所望音と風雑音の相互相関はゼロであると仮定すると、式（５５）の右辺の第２、３、４項は、ｈ（ｋ）が乗算されているが、ゼロになる。この結果、式（５６）に示すように、入力音声信号ｘＡとｘＢのクロススペクトルＣ（ｋ）は、動画撮像用マイクロホン５１Ａからの入力音声信号ｘＡに含まれる所望音のパワースペクトルとして求められる。
【０１５２】
【数１０】
0005998483.tif 000011
【０１５３】
一方、動画撮像用マイクロホン５１Ａからの入力音声信号ｘＡのパワースペクトルＰＡは、以下の式（５７）で算出される。
【０１５４】
【数１１】
0005998483.tif 000012
【０１５５】
以上の結果から、第２の実施形態でも、上記第１の実施形態と同様に、次の式（５８）に示すウィナーフィルタ形式の低減係数ＧＡ（ｋ）を得ることができる。従って、当該低減係数ＧＡ（ｋ）を用いて、動画撮像用のマイクロホン５１Ａから得た音声スペクトル信号ＸＡに含まれる風雑音を低減することが可能になる。
【０１５６】
【数１２】
0005998483.tif 000013
【０１５７】
［２．４．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。
【０１５８】
［２．４．１．音声信号処理装置の全体動作］
まず、上記図１３で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ａ、５１Ｂからそれぞれ入力される音声信号ｘＡ、ｘＢをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘＡ（ｍ）、ｘＢ（ｍ）が入力されると、周波数変換部６１Ａ、６１Ｂは、当該音声信号ｘＡ（ｍ）、ｘＢ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号ＸＡ、ＸＢを周波数成分ごとに出力する。
【０１５９】
周波数変換部６１Ａ、６１Ｂから、ｍ番目のフレームの音声スペクトル信号ＸＡ、ＸＢのｋ番目の周波数成分ＸＡ（ｋ，ｍ）、ＸＢ（ｋ，ｍ）が出力されると、信号補正部６６は、ＸＡ（ｋ，ｍ）とＸＢ（ｋ，ｍ）の差分が最小となるように補正係数ｈ（ｋ）を決定する。そして、信号補正部６６は、補正係数ｈ（ｋ）を音声スペクトル信号ＸＢ（ｋ，ｍ）に乗算して、音声スペクトル信号Ｘ’Ｂ（ｋ，ｍ）を生成する。このＸ’Ｂ（ｋ，ｍ）は、所望音の入力特性（振幅及び位相）が一方の音声スペクトル信号ＸＡ（ｋ，ｍ）に一致するように、ＸＢ（ｋ，ｍ）を補正したものである。
【０１６０】
次いで、クロススペクトル算出部６２により、音声スペクトル信号ＸＡ（ｋ，ｍ）と、補正されたＸ’Ｂ（ｋ，ｍ）とからクロススペクトルＣ（ｋ，ｍ）が算出されると同時に、パワースペクトル算出部６３Ａにより、音声スペクトル信号ＸＡ（ｋ，ｍ）からパワースペクトルＰＡ（ｋ，ｍ）が算出される。
【０１６１】
さらに、雑音低減部６４Ａにより、Ｃ（ｋ，ｍ）とＰＡ（ｋ，ｍ）から低減係数ＧＡ（ｋ，ｍ）が算出されて、音声スペクトル信号ＸＡのｋ番目の周波数成分ＸＡ（ｋ，ｍ）に乗算され、風雑音が低減された音声スペクトル信号ＹＡのｋ番目の周波数成分ＹＡ（ｋ，ｍ）が出力される。
【０１６２】
そして、時間変換部６５Ａにより、上記音声スペクトル信号ＹＡのｋ番目の周波数成分ＹＡ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＡ（ｍ）がフレーム単位で出力される。
【０１６３】
［２．４．２．信号処理部の動作］
次に、図１４、図１５を参照して、本実施形態に係る信号補正部６６の動作について説明する。図１４は、本実施形態に係る信号補正部６６の概略動作を示すフローチャートである。図１５は、本実施形態に係る信号補正部６６の詳細動作を示すフローチャートである。
【０１６４】
図１４に示すように、まず、信号補正部６６は、周波数変換部６１Ａから音声スペクトル信号ＸＡの各周波数成分ＸＡ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｂから音声スペクトル信号ＸＢの各周波数成分ＸＢ（ｋ，ｍ）を取得する（Ｓ４０）。
【０１６５】
次いで、信号補正部６６は、マイクロホン５１Ａ、５１Ｂの入力特性のずれを補正するための補正係数ｈ（ｋ）を、周波数成分ごとに算出する（Ｓ４２）。この際、信号補正部６６は、音声スペクトル信号ＸＡ（ｋ，ｍ）とＸＢ（ｋ，ｍ）との間で複素スペクトルの二乗誤差が最小となるように、補正係数ｈ（ｋ）を算出する（Ｓ４２）。
【０１６６】
その後、信号補正部６６は、Ｓ４２で求めた補正係数ｈ（ｋ）を用いて、通話用のマイクロホン５１Ｂから入力された音声スペクトル信号ＸＢ（ｋ，ｍ）を補正して、補正後の音声スペクトル信号Ｘ’Ｂ（ｋ，ｍ）を出力する（Ｓ４４）。
【０１６７】
さらに図１５を参照して、信号補正部６６の詳細動作を説明する。図１５に示すように、まず、信号補正部６６は、上記音声スペクトル信号ＸＡ（ｋ，ｍ）を取得するとともに、音声スペクトル信号ＸＢ（ｋ，ｍ）を取得する（Ｓ５０：上記Ｓ４０に相当する。）。
【０１６８】
次いで、信号補正部６６は、２つのマイクロホン５１Ａ、５１Ｂから得られる音声スペクトル信号ＸＡ、ＸＢの複素スペクトルの二乗誤差を最小化するように、信号ＸＢを補正するための補正係数ｈ（ｋ）を算出する（Ｓ５２、Ｓ５４：上記Ｓ４２に相当する。）。
【０１６９】
具体的には、まず、信号補正部６６は、以下の式（６０）に示すように、周波数成分ごとに、音声スペクトル信号ＸＡ（ｋ，ｍ）と音声スペクトル信号ＸＢ（ｋ，ｍ）の誤差ｅ（ｋ）を算出する（Ｓ５２）。ここで、誤差ｅ（ｋ）は、過去のフレームで求めた補正係数ｈ（ｋ）をＸＢ（ｋ，ｍ）に乗算した値と、ＸＡ（ｋ，ｍ）との差分である。
ｅ（ｋ）＝ＸＡ（ｋ，ｍ）−ｈ（ｋ）・ＸＢ（ｋ，ｍ）  ・・・（６０）
【０１７０】
さらに、信号補正部６６は、以下の式（６１）に示すように、上記Ｓ５２で得た誤差ｅ（ｋ）が小さくなるように、補正係数ｈ（ｋ）を更新する（Ｓ５４）。ここで、Ｘ＊Ａ（ｋ，ｍ）は、音声スペクトル信号ＸＡ（ｋ，ｍ）の複素共役である。また、μは、更新頻度を制御するための定数であり、例えば、μ＝０．０１などとすることができる。本実施形態では、μを固定値とするが、風雑音が大きい場合には、μをより小さい値にして、音声スペクトル信号Ｘに対する風雑音の影響を除去することが望ましい。
ｈ（ｋ）＝ｈ（ｋ）＋μ・ｅ（ｋ）・Ｘ＊Ａ（ｋ，ｍ）  ・・・（６１）
【０１７１】
その後、信号補正部６６は、以下の式（６２）に示すように、Ｓ５４で得た補正係数ｈ（ｋ）を音声スペクトル信号ＸＢの各周波数成分ＸＢ（ｋ，ｍ）に乗算することで、ＸＡ（ｋ，ｍ）に対するＸＢ（ｋ，ｍ）の所望音の特性のずれ（振幅差及び位相差）を補正する（Ｓ５６：上記Ｓ４４に相当する。）。これにより、マイクロホン５１Ａ、５１Ｂ間の入力特性のずれを補正した音声スペクトル信号Ｘ’Ｂ（ｋ，ｍ）が得られる。
Ｘ’Ｂ（ｋ，ｍ）＝ｈ（ｋ）・ＸＢ（ｋ，ｍ）  ・・・（６２）
【０１７２】
以上、第２の実施形態に係る特徴である信号補正部６６の動作について説明した。なお、その他の各部（クロススペクトル算出部６２、パワースペクトル算出部６３Ａ、雑音低減部６４Ａ等）の動作は、上記第１の実施形態と実質的に同一であってもよいので、詳細説明は省略する（図８〜図１０参照。）。
【０１７３】
［２．５．効果］
以上、本開示の第２の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第２の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。
【０１７４】
即ち、第２の実施形態では、２つのマイクロホン５１Ａ、５１Ｂの入力特性が相違する場合であっても、信号補正部６６により２つの入力音声信号ｘＡ、ｘＢに含まれる所望音の特性のずれ（振幅差又は位相差）を補正する。これにより、２つの音声信号ｘＡ、ｘＢの所望音の相互相関を高めて相互相関係数Ｃｏｒｒ（ｋ）を１に近づけることができるので、２つの音声信号ｘＡ、ｘＢから所望音を正確に推定可能になる。従って、上記ウィナーフィルタ形式の低減係数Ｇを好適に適用して、入力音声から風雑音を適切に低減し、所望音を劣化させることなく抽出することができる。
【０１７５】
また、２つの音声スペクトル信号ＸＡ、ＸＢの二乗誤差を最小にするような補正係数ｈを算出し、補正係数ｈを用いて少なくとも一方の音声スペクトル信号ＸＢを補正する。これにより、所望音の相互相関を高めるための補正係数ｈを適切に求めて、所望音の推定精度を向上することができる。
【０１７６】
＜３．第３の実施の形態＞
次に、本開示の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態は、上記第１の実施形態と比べて、所望音の音源の位置による入力信号の位相差を補正する機能を有する点で相違する。第３の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０１７７】
［３．１．第３の実施形態の概要］
まず、第３の実施形態に係る音声信号処理装置及び方法の概要について説明する。第３の実施形態に係る音声信号処理装置は、２つのマイクロホンに対する所望音の音源の相対位置により、２つのマイクロホンに入力される所望音に位相差が生じる場合に、当該２つのマイクロホン５１から入力される音声信号の位相のずれを補正することを特徴とする。このように第３の実施形態に係る補正対象は、２つの音声信号間の所望音の位相のずれである。
【０１７８】
第３の実施形態では、２つのマイクロホンの入力特性が同一であることを前提として、録音対象の所望音の音源が移動していること、又は、当該音源が録音装置の正面以外にあることを想定して、２つの音声信号の所望音の位相差を補正する。かかる補正処理は、２つのマイクロホンを用いた録音動作中に動的に実行可能である。
【０１７９】
上述した第１の実施形態では、２つのマイクロホン５１Ｌ、５１Ｒからの入力音声信号ｘＬ、ｘＲに含まれる所望音の相互相関は１であることを想定して、低減係数Ｇを求め、風雑音を低減していた。
【０１８０】
ところが、一方のマイクロホン５１Ｌの入力音声信号ｘＬに含まれる所望音と、他方のマイクロホン５１Ｒの入力音声信号ｘＲに含まれる所望音との間に、位相差が生じる場合がある。
【０１８１】
例えば、図１６に示すように、デジタルカメラ１で子供５を撮像するとき、所望音の音源（子供５）が、デジタルカメラ１の正面に対して右方向にいる場合、所望音（子供５の声）は、Ｌｃｈ用のマイクロホン５１Ｌでは、Ｒｃｈ用のマイクロホン５１Ｒよりも若干遅れて入力される。従って、マイクロホン５１Ｌの入力音声信号ｘＬの所望音は、マイクロホン５１Ｒの入力音声信号ｘＲの所望音はよりも位相が遅れ、２つの音声信号ｘＬ、ｘＲ間に位相差が生じる。この結果、入力音声信号ｘＬと入力音声信号ｘＲとの間の相互相関は低下し、１よりも小さくなる。この現象は、２つのマイクロホン５１Ｌ、５１Ｒの間隔が大きくなると顕著になる。また、図１６に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒに対して相対的に移動する場合には、録音中に上記位相差は随時変化するので、当該位相差を動的に補正することが必要になる。
【０１８２】
そこで、第３の実施形態では、所望音の音源が録音装置の正面以外にある場合や音源が移動している場合に、２つマイクロホン５１Ｌ、５１Ｒの音声信号ｘＬ、ｘＲ間に生じる所望音の位相差を補正する。この補正処理では、望ましくは、位相が進んでいる一方の音声信号（図１６の例ではＲｃｈ用マイクロホン５１Ｒの音声信号ｘＲ）が、他方の音声信号（Ｌｃｈ用マイクロホン５１Ｌの音声信号ｘＬ）に一致するように、当該一方の音声信号に位相遅れを付与する。これにより、２つの音声信号ｘＬ、ｘＲの位相差を補正して、当該音声信号ｘＬ、ｘＲ中の所望音の相互相関係数を１に近づけることができる。
【０１８３】
ここで、図１７を参照して、所望音の相関について詳述する。所望音の相互相関係数は、マイクロホン５１Ｌ、５１Ｒと所望音の音源との相対位置、つまり、所望音がマイクロホン５１Ｌ、５１Ｒに到達する際の到来方向に依存する。図１７（ａ）に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒの正面にあり、所望音が０度方向（２つのマイクロホン５１Ｌ、５１Ｒの正面方向）から到来する場合、音声信号ｘＬ、ｘＲ中の所望音の相互相関係数は、常にほぼ１である。これに対し、図１７（ｂ）に示すように、所望音の音源（子供５）が、マイクロホン５１Ｌ、５１Ｒの正面からずれた位置にあり、所望音が正面方向に対して３０度ずれた方向から到来する場合、音声信号ｘＬ、ｘＲ中の所望音の相互相関係数は、周波数が大きくなるにつれて、１より低下する。なお、図１７の相互相関係数は、マイクロホン５１Ｌ、５１Ｒの間隔を２ｃｍとした例である。
【０１８４】
上述した第１の実施形態では、入力音声信号ｘＬ、ｘＲに含まれる所望音の相互相関は１であると仮定して、風雑音の低減処理を行った。しかし、図１７に示したように所望音の音源の位置が正面からずれるに従って、所望音の相互相関が１より低下するため、何らの対策も施さないと、雑音低減処理により所望音を劣化させてしまうことなる。そこで、第３の実施形態では、マイクロホン５１Ｌ、５１Ｒに対する所望音の音源の位置に応じて、２つの入力音声信号ｘＬ、ｘＲ間の所望音の相互相関を最大化（相互相関係数を１に近づける）ように補正することで、雑音低減処理による所望音の劣化を防ぐ。
【０１８５】
［３．２．音声信号処理装置の機能構成］
次に、図１８を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図１８は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０１８６】
図１８に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６５Ｌと、２つの時間変換部６５Ｌ、６５Ｒと、クロススペクトル補正部６７とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
【０１８７】
図１８に示したように、第３の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、クロススペクトル補正部６７をさらに備える点で相違する。以下、各部について説明する。
【０１８８】
マイクロホン５１Ｌ、５１Ｒは、上述したステレオマイクロホンを構成する。このマイクロホン５１Ｌ、５１は、上記第１の実施形態のマイクロホン５１Ｌ、５１と同様であるので、詳細説明は省略する。
【０１８９】
周波数変換部６１Ｌ、６１Ｒは、フレーム単位で、時間領域の音声信号ｘＬ、ｘＲを、周波数領域の音声スペクトル信号ＸＬ、ＸＲに変換する機能を有する。この周波数変換部６１Ｌ、６１Ｒは、上記第１の実施形態の周波数変換部６１Ｌ、６１Ｒと同様であるので、詳細説明は省略する。
【０１９０】
クロススペクトル算出部６２は、周波数成分ごとに、音声スペクトル信号ＸＬ及び音声スペクトル信号ＸＲを演算することにより、音声信号ｘＬと音声信号ｘＲとのクロススペクトルＣＬＲを算出する。このクロススペクトル算出部６２は、上記第１の実施形態のクロススペクトル算出部６２と同様であるので、詳細説明は省略する。
【０１９１】
クロススペクトル補正部６７は、第３の実施形態の特徴的なユニットであり、所望音の音源の位置に応じて２つの音声信号ｘＬ、ｘＲの位相差を補正するために、クロススペクトルＣＬＲを補正する機能を有する。マイクロホン５１Ｌ、６１Ｒと所望音の音源との相対位置により、音声信号ｘＬに含まれる所望音と音声信号ｘＲに含まれる所望音との間に位相差が生じるときに、クロススペクトル補正部６７は、上記音声スペクトル信号ＸＬ、ＸＲの相互相関に基づいて、クロススペクトル算出部６２により算出されたクロススペクトルＣＬＲを補正して、Ｃ’ＬＲを生成する。
【０１９２】
具体的には、クロススペクトル補正部６７には、クロススペクトル算出部６２からクロススペクトルＣＬＲが入力され、パワースペクトル算出部６３Ｌ、６３ＲからパワースペクトルＰＬ、ＰＲが入力される。クロススペクトル補正部６７は、音声スペクトル信号ＸＬに含まれる所望音と音声スペクトル信号ＸＲに含まれる所望音との相互相関係数を最大化するように、補正係数ＡＰを算出し、当該補正係数ＡＰを用いてクロススペクトルＣＬＲを補正する。このために、まず、クロススペクトル補正部６７は、音声スペクトル信号ＸＬの全体成分（全ての周波数成分：ｋ＝０〜Ｌ−１）と音声スペクトル信号ＸＲの全体成分との相互相関係数が閾値Ｔｈより大きいか否かに基づき、音声信号ｘＬ、ｘＲに風雑音が含まれない区間を検出する。ここで、音声スペクトル信号ＸＬの全体成分とは、当該信号ＸＬの全ての周波数成分（ｋ＝０〜Ｌ−１）を意味し、音声スペクトル信号ＸＲの全体成分も同様である。当該全体成分の相互相関係数が閾値Ｔｈより大きければ、両信号ＸＬ、ＸＲの相関が高いので、所望音を含み、風雑音を含まない区間であると推定できる。
【０１９３】
さらに、クロススペクトル補正部６７は、上記検出された区間の音声スペクトル信号ＸＬ、ＸＲを用いて、ＸＬとＸＲの二乗誤差が最小となるような補正係数ＡＰを算出する。これにより、ＸＬに含まれる所望音とＸＲに含まれる所望音との相互相関係数を最大化するような補正係数ＡＰを算出できる。その後、クロススペクトル補正部６７は、補正係数ＡＰを用いてクロススペクトルＣＬＲを補正して、クロススペクトルＣ’ＬＲを生成する。なお、かかるクロススペクトル補正部６７によるクロススペクトルＣＬＲの補正処理の詳細については後述する。
【０１９４】
パワースペクトル算出部６３Ｌ、６３Ｒは、周波数成分ごとに、音声信号ｘＬ、ｘＲのパワースペクトルＰＬ、ＰＲを算出する機能を有する。このパワースペクトル算出部６３Ｌ、６３Ｒは、上記第１の実施形態のパワースペクトル算出部６３Ｌ、６３Ｒと同様であるので、詳細説明は省略する。
【０１９５】
雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、上記補正されたクロススペクトルＣ’ＬＲ及びパワースペクトルＰＬ、ＰＲから低減係数ＧＬ、ＧＲを算出し、当該低減係数ＧＬ、ＧＲを用いて音声スペクトル信号ＸＬ、ＸＲを補正して、風雑音を低減する機能を有する。この雑音低減部６４Ｌ、６４Ｒは、クロススペクトル補正部６７により補正されたクロススペクトルＣ’ＬＲを用いて低減係数ＧＬ、ＧＲを算出する点を除いては、上記第１の実施形態の雑音低減部６４Ｌ、６４Ｒと同様であるので、詳細説明は省略する。かかる雑音低減部６４Ｌ、６４Ｒは、雑音低減後の音声スペクトル信号ＹＬ、ＹＲを出力する。
【０１９６】
時間変換部６５Ｌ、６５Ｒは、雑音低減部６４Ｌ、６５Ｒにより雑音が低減された周波数領域の音声スペクトル信号ＹＬ、ＹＲを、時間領域の音声信号ｙＬ、ｙＲに逆変換する機能を有する。この時間変換部６５Ｌ、６５Ｒは、上記第１の実施形態の時間変換部６５Ｌ、６５Ｒと同様であるので、詳細説明は省略する。時間変換部６５Ｌ、６５Ｒから出力された音声信号ｙＬ、ｙＲは、デジタルカメラ１で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。
【０１９７】
以上、第３の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第３の実施形態では、所望音の音源の位置に応じて、２つのマイクロホン５１Ｌ、５１Ｒの入力音声信号ｘＬ、ｘＲに位相差が生じる場合に、その位相差を解消するために、クロススペクトル補正部６７によりクロススペクトルＣＬＲを補正する。この際、クロススペクトル補正部６７は、周波数成分ごとに、２つの音声信号ｘＬ、ｘＲの所望音の相互相関を最大化するような補正係数ＡＰを求め、当該補正係数ＡＰを用いてＣＬＲを補正する。これにより、音声信号ｘＬ、ｘＲの所望音の相互相関係数を最大化して、ほぼ１にすることができる。よって、所望音（入力音声信号間の相関成分）を正確に推定できるので、風雑音を適切に低減することができる。
【０１９８】
［３．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。
【０１９９】
［３．３．１．音声信号処理装置の全体動作］
まず、上記図１８で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘＬ、ｘＲをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘＬ（ｍ）、ｘＲ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘＬ（ｍ）、ｘＲ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲを周波数成分ごとに出力する。
【０２００】
周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲのｋ番目の周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）からクロススペクトルＣＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号ＸＬ（ｋ，ｍ）からパワースペクトルＰＬ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号ＸＲ（ｋ，ｍ）からパワースペクトルＰＲ（ｋ）が算出される。
【０２０１】
次いで、クロススペクトル補正部６７により、クロススペクトル算出部６２により算出されたクロススペクトルＣＬＲ（ｋ）が補正され、クロススペクトルＣ’ＬＲ（ｋ）が生成される。この際、クロススペクトル補正部６７は、周波数成分ごとに、音声スペクトル信号ＸＬ（ｋ，ｍ）とＸＲ（ｋ，ｍ）の差分を最小化するように補正係数ＡＰ（ｋ）を算出し、当該補正係数ＡＰを用いてクロススペクトルＣＬＲ（ｋ）を補正して、Ｃ’ＬＲ（ｋ）を生成する。
【０２０２】
さらに、雑音低減部６４Ｌにより、Ｃ’ＬＲ（ｋ）とＰＬ（ｋ）から低減係数ＧＬ（ｋ）が算出されて、音声スペクトル信号ＸＬのｋ番目の周波数成分ＸＬ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が、雑音低減部６４Ｌから時間変換部６５Ｌに出力される。また、雑音低減部６４Ｒにより、Ｃ’ＬＲ（ｋ）とＰＲ（ｋ，ｍ）から低減係数ＧＲ（ｋ）が算出されて、音声スペクトル信号ＸＲのｋ番目の周波数成分ＸＲ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＲのｋ番目の周波数成分ＹＲ（ｋ，ｍ）が、雑音低減部６４Ｒから時間変換部６５Ｒに出力される。
【０２０３】
そして、時間変換部６５Ｌにより、上記音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＬ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号ＹＲのｋ番目の周波数成分ＹＲ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＲ（ｍ）がフレーム単位で出力される。
【０２０４】
［３．３．２．クロススペクトル補正部の動作］
次に、図１９、図２０を参照して、本実施形態に係るクロススペクトル補正部６７の動作について説明する。図１９は、本実施形態に係るクロススペクトル補正部６７の概略動作を示すフローチャートである。図２０は、本実施形態に係るクロススペクトル補正部６７の詳細動作を示すフローチャートである。
【０２０５】
図１９に示すように、まず、クロススペクトル補正部６７は、周波数変換部６１Ｌから音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）を取得するとともに、周波数変換部６１Ｒから音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）を取得する（Ｓ６０）。
【０２０６】
次いで、クロススペクトル補正部６７は、ｍ番目のフレームの音声スペクトル信号ＸＬの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）と、ＸＲの全ての周波数成分ＸＲ（０〜Ｌ−１，ｍ）との相互相関に基づいて、音声信号ｘＬ（ｍ）、ｘＲ（ｍ）のうち所望音のみが含まれている区間を検出する（Ｓ６２）。
【０２０７】
さらに、クロススペクトル補正部６７は、当該検出された区間において、周波数成分ごとに、音声スペクトル信号ＸＬ（ｋ，ｍ）の所望音とＸＲ（ｋ，ｍ）の所望音との相互相関を最大化する補正係数ＡＰ（ｋ）を算出する（Ｓ６４）。そして、クロススペクトル補正部６７は、当該補正係数ＡＰをクロススペクトルＣＬＲ（ｋ）に乗算して、ＣＬＲ（ｋ）を補正し、当該補正後のＣ’ＬＲ（ｋ）を雑音低減部６４Ｌ、６４Ｒに出力する（Ｓ６６）。
【０２０８】
さらに図２０を参照して、クロススペクトル補正部６７の詳細動作を説明する。図２０に示すように、まず、クロススペクトル補正部６７は、上記音声スペクトル信号ＸＬ（ｋ，ｍ）を取得するとともに、音声スペクトル信号ＸＲ（ｋ，ｍ）を取得する（Ｓ７０：上記Ｓ６０に相当する。）。さらに、クロススペクトル補正部６７は、上記クロススペクトルＣＬＲ（ｋ）、パワースペクトルＰＬ（ｋ）及びＰＲ（ｋ）を取得する（Ｓ７２）。
【０２０９】
次いで、クロススペクトル補正部６７は、ｍ番目のフレームの音声スペクトル信号ＸＬ（ｋ，ｍ）の全体成分と音声スペクトル信号ＸＲ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、風雑音を含まずに所望音のみを含む区間であるか否かを判定する（Ｓ７４、Ｓ７６）。
【０２１０】
ｍ番目のフレームに風雑音が含まれる場合には、ＸＬ（ｋ，ｍ）とＸＲ（ｋ，ｍ）の相互相関が低下するため、補正係数ＡＰ（ｋ）を正しく算出できない。そこで、風雑音をできるだけ含まず、所望音のみを含む区間（例えばフレーム）において、補正係数ＡＰ（ｋ）を算出することが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが所望音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、ＸＬ（ｋ，ｍ）全体とＸＲ（ｋ，ｍ）全体との相互相関係数ＣｏｒｒＴｏｔａｌが小さくなるので、当該相互相関係数ＣｏｒｒＴｏｔａｌの大小により、ｍ番目のフレームが所望音のみを含む区間であるか否かを判定できる（Ｓ７２、Ｓ７４）。この結果、所望音のみが存在する区間であれば、当該ｍ番目のフレームのＸＬ（ｋ，ｍ）とＸＲ（ｋ，ｍ）を用いて補正係数ＡＰ（ｋ）を算出する（Ｓ７８）。
【０２１１】
具体的には、まず、クロススペクトル補正部６７は、以下の式（７０）により、ｍ番目のフレームの音声スペクトル信号ＸＬの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）と音声スペクトル信号ＸＲの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）との相互相関係数ＣｏｒｒＴｏｔａｌを算出する（Ｓ７４）。
【０２１２】
【数１３】
0005998483.tif 000014
【０２１３】
次いで、クロススペクトル補正部６７は、Ｓ７４で求めたＣｏｒｒＴｏｔａｌが、所定の閾値Ｔｈよりも大きいか否かを判定する（Ｓ７６）。ＣｏｒｒＴｏｔａｌ＞Ｔｈであれば、クロススペクトル補正部６７は、ＸＬとＸＲの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、補正係数ＡＰ（ｋ）の算出処理（Ｓ７８）に進む。
【０２１４】
Ｓ７８では、クロススペクトル補正部６７は、以下の式（７１）により、ｍ番目のフレームの周波数成分ごとに、ＸＬとＸＲの二乗誤差が最小となる係数ｇｃ（ｋ）を算出し、当該ｇｃ（ｋ）を補正係数ａＰ（ｋ，ｍ）とする（Ｓ７８）。式（７１）における「Ｅ」は、例えば、フレームｍを含み、フレームｍより以前で、ＣｏｒｒＴｏｔａｌ＞Ｔｈとなった複数のフレームにおける時間平均を示す。
【０２１５】
【数１４】
0005998483.tif 000015
【０２１６】
さらにクロススペクトル補正部６７は、不図示の記憶部に記憶されている過去の補正係数ＡＰ（ｋ）を読み出し、以下の式（７２）により、平滑化係数ｒ（０＜ｒ＜１）を用いて、ＡＰ（ｋ）と、Ｓ７８で求めた現在のフレームのａＰ（ｋ，ｍ）を平滑化することにより、ＡＰ（ｋ）を更新する（Ｓ８０）。このように、現在のフレームのａＰ（ｋ，ｍ）と過去のフレームのＡＰ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い補正係数ＡＰ（ｋ，ｍ）を算出できる。なお、１フレームのＸＬ（ｋ，ｍ）とＸＲ（ｋ，ｍ）のみを用いて補正係数ＡＰ（ｋ）を算出することも可能であるが、過去のフレームから算出した補正係数ＡＰ（ｋ）をも用いて補正係数ＡＰ（ｋ）を算出することで、補正係数ＡＰ（ｋ）の精度を向上できる。
ＡＰ（ｋ）＝ｒ・ＡＰ（ｋ）＋（１−ｒ）・ａＰ（ｋ，ｍ）  ・・・（７２）
【０２１７】
そして、クロススペクトル補正部６７は、Ｓ８０で得た補正係数ＡＰ（ｋ，ｍ）を用いて、周波数成分ごとにクロススペクトルＣ’ＬＲ（ｋ）を再計算する（Ｓ８２）。具体的には、クロススペクトル補正部６７は、以下の式（７３）に従い、ＣＬＲ（ｋ）（＝ＸＬ（ｋ，ｍ）・Ｘ＊Ｒ（ｋ，ｍ））に補正係数ＡＰ（ｋ）を乗算した値の期待値（平均値）を算出し、補正後のクロススペクトルＣ’ＬＲ（ｋ）を得る。
【０２１８】
【数１５】
0005998483.tif 000016
【０２１９】
一方、上記Ｓ７６にて、ＣｏｒｒＴｏｔａｌ≦Ｔｈであれば、ＸＬとＸＲの相互相関が低いので、クロススペクトル補正部６７は、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定する。この場合、クロススペクトル補正部６７は、上記の補正係数ＡＰ（ｋ）の更新処理（Ｓ７８、Ｓ８０）を行わずに、過去のフレームから算出した補正係数ＡＰ（ｋ）を用いて、補正後のクロススペクトルＣ’ＬＲ（ｋ）を得る（Ｓ８２）。
【０２２０】
以上、第３の実施形態に係る特徴であるクロススペクトル補正部６７の動作について説明した。なお、その他の各部（クロススペクトル算出部６２、パワースペクトル算出部６３Ｌ、６３Ｒ、雑音低減部６４Ｌ、６４Ｒ等）の動作は、上記第１の実施形態と実質的に同一であってもよいので、詳細説明は省略する（図８〜図１０参照。）。
【０２２１】
［３．４．効果］
以上、本開示の第３の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第３の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。
【０２２２】
即ち、第３の実施形態では、所望音の音源の位置により、２つのマイクロホン５１Ｌ、５１Ｒからの入力音声信号ｘＬ、ｘＲの所望音に位相差が生じる場合であっても、当該所望音の相互相関を最大化する補正係数ＡＰを用いて、クロススペクトルＣＬＲを補正する。これにより、２つの音声信号ｘＡ、ｘＢの所望音の相互相関を高めて相互相関係数Ｃｏｒｒ（ｋ）を１に近づけることができるので、２つの音声信号ｘＬ、ｘＲから所望音を正確に推定可能になる。従って、ウィナーフィルタ形式の低減係数Ｇを好適に適用して、入力音声から風雑音を適切に低減し、所望音を劣化させることなく抽出することができる。
【０２２３】
また、２つの音声スペクトル信号ＸＡ、ＸＢの相互相関係数Ｃｏｒｒ（ｋ）を最大化するような補正係数ＡＰを算出し、補正係数ＡＰを用いてクロススペクトルＣＬＲを補正する。これにより、所望音の相互相関を高めるための補正係数ＡＰを適切に求めて、所望音の推定精度を向上することができる。
【０２２４】
さらに、各フレームの音声スペクトル信号ＸＬとＸＲの全ての周波数成分の相互相関ＣｏｒｒＴｏｔａｌに基づいて、そのフレームに風雑音が含まれない区間（フレーム）を検出し、風雑音が含まれず所望音のみが含まれる区間のＸＬとＸＲから補正係数ＡＰを算出する。これにより、所望音の相互相関を高めるための補正係数ＡＰを適切に求めて、所望音の推定精度を更に向上させることができる。
【０２２５】
＜４．第４の実施の形態＞
次に、本開示の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態は、上記第１の実施形態と比べて、雑音低減部の後段にハイパスフィルタを設け、このイパスフィルタのカットオフ周波数を制御する点で相違する。第４の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０２２６】
［４．１．第４の実施形態の概要］
まず、第４の実施形態に係る音声信号処理装置及び方法の概要について説明する。第４の実施形態では、雑音低減部６４の後段に、所定のカットオフ周波数Ｆｃ以下の低域周波数成分を除去するハイパスフィルタ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ：ＨＰＦ）を設け、雑音低減部６４から出力された音声スペクトル信号Ｙに残留した風雑音を低減する。
【０２２７】
さらに、ハイパスフィルタのカットオフ周波数Ｆｃを制御するためのフィルタ制御部を設ける。このフィルタ制御部は、クロススペクトルＣＬＲ、パワースペクトルＰＬ、ＰＲを利用して、音声スペクトル信号ＸＬ、ＸＲの相互相関に基づいて、カットオフ周波数を動的に制御する。これにより、入力音声信号ｘＬ、ｘＲに含まれる風雑音の状態に応じて柔軟にカットオフ周波数Ｆｃを制御することができる。従って、風雑音が強い場合は、カットオフ周波数Ｆｃを大きくして、風雑音をより低減することができ、風雑音が弱い場合は、カットオフ周波数Ｆｃを小さくして、所望音の劣化を抑制することができる。以下に、このカットオフ周波数Ｆｃの制御について、より詳細に説明する。
【０２２８】
上述したように、基本的には、２つのマイクロホン５１Ｌ、５１Ｒの入力音声信号ｘＬ、ｘＲ間で、風雑音の相互相関はゼロに近くなる。しかし、図２１に示すように、マイクロホン５１Ｌ、５１Ｒの間隔や風雑音の波長によっては、所定の周波数（図の例では約２５０Ｈｚ）以下では、風雑音の相互相関が大きくなる場合がある。この場合、上記雑音低減部６４は、当該周波数以下の低周波数帯域の風雑音を適切に低減することができない。
【０２２９】
そこで、第４の実施形態では、相互相関が高くなる風雑音を含む低周波数領域の上限の周波数を検出し、当該低周波数領域の上限の周波数をカットオフ周波数Ｆｃとするハイパスフィルタにより、当該低域周波数以下の風雑音を除去する。
【０２３０】
ここで、図２２を参照して、カットオフ周波数Ｆｃの検出・設定方法の概要を説明する。図２２は、カットオフ周波数Ｆｃにより低周波数帯域が除去された音声スペクトル信号Ｙを示す。
【０２３１】
上記の雑音低減部６４により風雑音を適切に低減できない低周波数帯域は、風雑音のみが含まれている区間の音声スペクトル信号ＸＬ、ＸＲ間の相互相関に基づいて、検出することが可能である。当該低周波数帯域は、音声信号に風雑音のみが含まれていると判定された区間において、ＸＬ、ＸＲの相互相関が高い値となる１ｋＨｚ以下の周波数帯域である。
【０２３２】
そこで、本実施形態では、当該区間の音声スペクトル信号ＸＬ、ＸＲの相互相関係数に基づいて、風雑音の周波数特性に応じた適切なカットオフ周波数Ｆｃを設定する。例えば、雑音低減部６４により風雑音を適切に低減できている場合には、図２２の破線の周波数特性で示すように、ハイパスフィルタのカットオフ周波数Ｆｃを小さい値Ｆｃ１に設定する。これにより、周波数Ｆｃ１超の所望音を除去しないので、所望音の音質劣化を小さくすることができる。一方、雑音低減部６４による風雑音の低減が不十分である場合には、図２２の実線の周波数特性で示すように、ハイパスフィルタのカットオフ周波数Ｆｃを大きい値Ｆｃ２に設定する。これにより、周波数Ｆｃ２以下の風雑音をも除去して、ＸＬ、ＸＲ間の相互相関を有する低周波数帯域の風雑音を適切に低減することができる。
【０２３３】
［４．２．音声信号処理装置の機能構成］
次に、図２３を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２３は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０２３４】
図２３に示すように、音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒと、音声処理部６０を備える。音声処理部６０は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、２つのフィルタ部６８Ｌ、６８Ｒと、フィルタ制御部６９とを備える。これら音声処理部６０の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声処理部６０の備えるプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
【０２３５】
図２３に示したように、第４の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、フィルタ部６８Ｌ、６８Ｒ及びフィルタ制御部６９をさらに備える点で相違する。以下、各部について説明する。
【０２３６】
マイクロホン５１Ｌ、５１Ｒ、周波数変換部６１Ｌ、６１Ｒ、クロススペクトル算出部６２、パワースペクトル算出部６３Ｌ、６３Ｒ、雑音低減部６４Ｌ、６４Ｒは、上記第１の実施形態の各部と同様であるので、詳細説明は省略する。
【０２３７】
フィルタ部６８Ｌ、６８Ｒ（以下、フィルタ部６８と総称する。）はそれぞれ、雑音低減部６４Ｌ、６５Ｌの後段に設けられるハイパスフィルタ（低域除去フィルタ）である。このフィルタ部６８Ｌ、６８Ｒは、雑音低減部６４Ｌ、６４Ｒから出力された音声スペクトル信号ＹＬ、ＹＲの低周波数帯域を除去して、音声スペクトル信号ＺＬ、ＺＲを出力する。
【０２３８】
具体的には、フィルタ部６８Ｌは、周波数成分ごとに、フィルタ制御部６９により設定されたカットオフ周波数Ｆｃに応じてフィルタ係数Ｈ（ｋ）を生成し、当該Ｈ（ｋ）をＬｃｈの音声スペクトル信号ＹＬに乗算する。これにより、音声スペクトル信号ＹＬうちカットオフ周波数Ｆｃ以下の低周波数帯域が除去され、当該低周波数帯域に含まれる風雑音が低減される。同様に、フィルタ部６８Ｒは、周波数成分ごとに、フィルタ制御部６９により設定されたカットオフ周波数Ｆｃに応じてフィルタ係数Ｈ（ｋ）を生成し、当該Ｈ（ｋ）をＲｃｈの音声スペクトル信号ＹＲに乗算する。これにより、音声スペクトル信号ＹＲうちカットオフ周波数Ｆｃ以下の低周波数帯域が除去され、当該低周波数帯域に含まれる風雑音が低減される。
【０２３９】
フィルタ制御部６９は、音声スペクトル信号ＸＬと音声スペクトル信号ＸＲとの相互相関に基づいて、フィルタ部６８Ｌ、６８Ｒのカットオフ周波数Ｆｃを動的に制御する機能を有する。具体的には、フィルタ制御部６９は、入力音声信号ｘＬとｘＲのうち風雑音のみが含まれる区間を検出して、当該区間の音声スペクトル信号ＸＲと音声スペクトル信号ＸＲとの相互相関係数Ｃｏｒｒを周波数成分ごとに求める。この際、フィルタ制御部６９は、クロススペクトルＣＬＲ、パワースペクトルＰＬ、ＰＲを利用して相互相関係数Ｃｏｒｒを求める。そして、フィルタ制御部６９は、当該相互相関係数Ｃｏｒｒが閾値ｔｈｋ以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、カットオフ周波数Ｆｃとして設定する。
【０２４０】
例えば、図２１に示すように、本来、２つのマイクロホン５１Ｌ、５１Ｒで収音される風雑音は相互相関が低く、その相互相関係数Ｃｏｒｒはゼロに近い。ところが、２５０Ｈｚ以下の低周波数帯域では、マイクロホン５１Ｌ、５１Ｒの間隔や風雑音の波長によっては、風雑音の相互相関係数Ｃｏｒｒが大きくなり１に近づく場合がある。この場合、周波数が０から大きくなるにつれ、風雑音の相互相関係数Ｃｏｒｒは、一定値（例えば０．５）以上の値から徐々に低下して、ある周波数で閾値ｔｈｋ以下となる。このように風雑音の相互相関係数Ｃｏｒｒが閾値ｔｈｋ以下にまで低下すれば、その周波数以上の帯域の風雑音は、上記雑音低減部６４により除去可能である。そこで、風雑音の相互相関係数Ｃｏｒｒが最初に閾値ｔｈｋ以下となるときの周波数をカットオフ周波数Ｆｃとして設定し、当該カットオフ周波数Ｆｃ以下の低周波数帯域の風雑音をフィルタ部６８により除去することが好ましい。そこで、フィルタ制御部６９は、風雑音のみが含まれる区間において、音声スペクトル信号ＸＬ、ＸＲの相互相関係数Ｃｏｒｒ（ｋ）が高い値から閾値ｔｈｋ以下にまで低下するときの周波数を、カットオフ周波数Ｆｃとして設定する。
【０２４１】
フィルタ制御部６９は、設定したカットオフ周波数Ｆｃをフィルタ部６８Ｌ、６８Ｒにそれぞれ出力する。なお、本実施形態では、Ｌｃｈ用のフィルタ部６８ＬとＲｃｈ用のフィルタ部６８Ｒとが同一のカットオフ周波数Ｆｃを用いるが、各チャンネルの音声スペクトル信号ＸＬ、ＸＲに応じて、相異なるカットオフ周波数Ｆｃを用いてもよい。
【０２４２】
時間変換部６５Ｌ、６５Ｒは、フィルタ部６８Ｌ、６８Ｒを通過した音声スペクトル信号ＺＬ、ＺＲを、時間領域の音声信号ｚＬ、ｚＲに逆変換する機能を有する。この時間変換部６５Ｌ、６５Ｒは、上記第１の実施形態の時間変換部６５Ｌ、６５Ｒと同様であるので、詳細説明は省略する。時間変換部６５Ｌ、６５Ｒから出力された音声信号ｚＬ、ｚＲは、デジタルカメラ１で撮像された動画データに付随する音声データとして、任意の記録媒体に記録される。
【０２４３】
以上、第４の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第４の実施形態では、フィルタ制御部６９により、音声スペクトル信号ＸＬ、ＸＲの相互相関（クロススペクトルＣＬＲ、パワースペクトルＰＬ、ＰＲ）を利用して、フィルタ部６８のカットオフ周波数Ｆｃを動的に制御する。これにより、実際の音声信号ｘＬ、ｘＲに含まれる風雑音の周波数特性に応じて、適切なカットオフ周波数Ｆｃを設定できる。これにより、フィルタ部６８Ｌ、６８Ｒは、カットオフ周波数Ｆｃ以下の周波数成分を除去して、雑音低減部６４により低減されずに残留している低周波数帯域の風雑音を適切に除去することができる。
【０２４４】
［４．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。
【０２４５】
［４．３．１．音声信号処理装置の全体動作］
まず、上記図２３で示した音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘＬ、ｘＲをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘＬ（ｍ）、ｘＲ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘＬ（ｍ）、ｘＲ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲを周波数成分ごとに出力する。
【０２４６】
周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲのｋ番目の周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）からクロススペクトルＣＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号ＸＬ（ｋ，ｍ）からパワースペクトルＰＬ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号ＸＲ（ｋ，ｍ）からパワースペクトルＰＲ（ｋ）が算出される。
【０２４７】
次いで、雑音低減部６４Ｌにより、ＣＬＲ（ｋ）とＰＬ（ｋ）から低減係数ＧＬ（ｋ）が算出されて、音声スペクトル信号ＸＬのｋ番目の周波数成分ＸＬ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が、雑音低減部６４Ｌからフィルタ部６８Ｌに出力される。また、雑音低減部６４Ｒにより、ＣＬＲ（ｋ）とＰＲ（ｋ）から低減係数ＧＲ（ｋ）が算出されて、音声スペクトル信号ＸＲのｋ番目の周波数成分ＸＲ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＲのｋ番目の周波数成分ＹＲ（ｋ，ｍ）が、雑音低減部６４Ｒからフィルタ部６８Ｌに出力される。
【０２４８】
さらに、フィルタ制御部６９により、周波数成分ごとに、ＣＬＲ（ｋ）、ＰＬ（ｋ）及びＰＬ（ｋ）から相互相関係数Ｃｏｒｒ（ｋ）が算出され、Ｃｏｒｒ（ｋ）に基づいてカットオフ周波数Ｆｃが設定される。そして、フィルタ部６８Ｌにより、上記音声スペクトル信号ＹＬうちのカットオフ周波数Ｆｃ以下の周波数成分が除去されて、ＺＬ（ｋ，ｍ）が出力される。同時に、フィルタ部６８Ｒにより、上記音声スペクトル信号ＹＲうちのカットオフ周波数Ｆｃ以下の周波数成分が除去されて、ＺＲ（ｋ，ｍ）が出力される。
【０２４９】
そして、時間変換部６５Ｌにより、上記音声スペクトル信号ＺＬのｋ番目の周波数成分ＺＬ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｚＬ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号ＺＲのｋ番目の周波数成分ＺＲ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｚＲ（ｍ）がフレーム単位で出力される。
【０２５０】
［４．３．２．フィルタ制御部の動作］
次に、図２４、図２５を参照して、本実施形態に係るフィルタ制御部６９の動作について説明する。図２４は、本実施形態に係るフィルタ制御部６９の概略動作を示すフローチャートである。図２５は、本実施形態に係るフィルタ制御部６９の詳細動作を示すフローチャートである。
【０２５１】
図２４に示すように、まず、フィルタ制御部６９は、クロススペクトル算出部６２からクロススペクトルＣＬＲ（ｋ）を取得し、パワースペクトル算出部６３Ｌ、６３ＲからパワースペクトルＰＬ（ｋ）及びＰＲ（ｋ）を取得する（Ｓ１００）。次いで、フィルタ制御部６９は、周波数成分ごとに、音声スペクトル信号ＸＬとＸＲの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１０２）。
【０２５２】
次いで、フィルタ制御部６９は、相互相関係数Ｃｏｒｒに基づいて、入力音声信号ｘＬ、ｘＲに風雑音が含まれているか否かを検出する（Ｓ１０４）。例えば、入力音声信号ｘＬ、ｘＲ全体の相互相関係数ＣｏｒｒＴｏｔａｌが閾値Ｔｈ以下であり、かつ、入力音声信号ｘＬ、ｘＲの低周波数帯域の相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈｋ以上であれば、入力音声信号ｘＬ、ｘＲの低周波数帯域に風雑音が含まれると判断される。
【０２５３】
その後、フィルタ制御部６９は、相互相関係数Ｃｏｒｒの周波数特性に基づいて、フィルタ部６８のカットオフ周波数Ｆｃを設定する（Ｓ１０６）。例えば、図２２に示したように、フィルタ制御部６９は、周波数がゼロから大きくなるにつれて低下する相互相関係数Ｃｏｒｒ（ｋ）が最初に閾値ｔｈｋ以下になったときの周波数をカットオフ周波数Ｆｃに設定する。
【０２５４】
さらに、図２５を参照して、フィルタ制御部６９の詳細動作を説明する。図２５に示すように、まず、フィルタ制御部６９は、上記クロススペクトルＣＬＲ（ｋ）、パワースペクトルＰＬ（ｋ）及びＰＲ（ｋ）を取得する（Ｓ１１０）。
【０２５５】
次いで、フィルタ制御部６９は、以下の式（８０）により、周波数成分ごとに、音声スペクトル信号ＸＬとＸＲの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１１２）。
【０２５６】
【数１６】
0005998483.tif 000017
【０２５７】
次いで、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号ＸＬ（ｋ，ｍ）の全体成分と音声スペクトル信号ＸＲ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、所望音を含まずに風雑音のみを含む区間であるか否かを判定する（Ｓ１１４、Ｓ１１６）。
【０２５８】
ｍ番目のフレームに風雑音が含まれない場合には、低周波数帯域の風雑音を低減するためのカットオフ周波数Ｆｃを正しく算出できない。そこで、所望音をできるだけ含まず、風雑音のみを含む区間（例えばフレーム）において、カットオフ周波数Ｆｃを算出し、過去のＦｃを更新することが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが風雑音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、ＸＬ（ｋ，ｍ）全体とＸＲ（ｋ，ｍ）全体との相互相関係数ＣｏｒｒＴｏｔａｌが小さくなるので、当該相互相関係数ＣｏｒｒＴｏｔａｌの大小により、ｍ番目のフレームが風雑音のみを含む区間であるか否かを判定できる（Ｓ１１４、Ｓ１１６）。この結果、風雑音のみを含む区間であれば、当該ｍ番目のフレームのＸＬ（ｋ，ｍ）とＸＲ（ｋ，ｍ）を用いてカットオフ周波数Ｆｃを更新する（Ｓ１１８）。
【０２５９】
具体的には、まず、フィルタ制御部６９は、以下の式（８１）により、ｍ番目のフレームの音声スペクトル信号ＸＬの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）と音声スペクトル信号ＸＲの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）との相互相関係数ＣｏｒｒＴｏｔａｌを算出する（Ｓ１１４）。
【０２６０】
【数１７】
0005998483.tif 000018
【０２６１】
次いで、フィルタ制御部６９は、Ｓ１１４で求めたＣｏｒｒＴｏｔａｌが、所定の閾値Ｔｈ以下であるか否かを判定する（Ｓ１１６）。ＣｏｒｒＴｏｔａｌ≦Ｔｈであれば、フィルタ制御部６９は、ＸＬとＸＲの相互相関が低いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定し、カットオフ周波数Ｆｃの算出処理（Ｓ１１８）を行う。一方、ＣｏｒｒＴｏｔａｌ＞Ｔｈであれば、フィルタ制御部６９は、ＸＬとＸＲの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、カットオフ周波数Ｆｃの算出処理（Ｓ１１８）を行わずに、ｍ番目のフレームの処理を終了する。
【０２６２】
Ｓ１１８では、フィルタ制御部６９は、Ｓ１１２で算出した各周波数成分の相互相関係数Ｃｏｒｒ（ｋ）に基づいて、カットオフ周波数Ｆｃを算出する（Ｓ１１８、Ｓ１２０）。詳細には、フィルタ制御部６９は、以下の式（８２）により、相互相関係数Ｃｏｒｒ（ｋ）が最初に閾値ｔｈｋ以下となる周波数成分の周波数インデックスｋｃｕｔを求める（Ｓ１１８）。つまり、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号Ｘの各周波数成分のうち、相互相関係数Ｃｏｒｒ（ｋ）が閾値以下となる周波数成分のうち、周波数帯域が最も低い周波数成分の周波数インデックスｋｃｕｔを求める。例えば、フィルタ制御部６９は、ｍ番目のフレームの音声スペクトル信号Ｘの各周波数成分の周波数インデックスｋ＝０〜Ｌ−１の中から、相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈｋ以下となるすべての周波数成分（ｋ＝ｋ０〜ｋＭ−１）を抽出し、そのうちで周波数インデックスｋの最小値ｋ０をｋｃｕｔとする。
【０２６３】
【数１８】
0005998483.tif 000019
【０２６４】
そして、フィルタ制御部６９は、Ｓ１１８で求めた周波数インデックスｋｃｕｔの周波数成分に対応する離散周波数を、カットオフ周波数Ｆｃとして設定する（Ｓ１２０）。なお、当該周波数インデックスｋｃｕｔの周波数帯域の下限又は上限の周波数などを、カットオフ周波数Ｆｃとして設定してもよい。
【０２６５】
［４．３．３．フィルタ部の動作］
次に、図２６を参照して、本実施形態に係るフィルタ部６８の動作について説明する。図２６は、本実施形態に係るフィルタ部６８の概略動作を示すフローチャートである。なお、以下では、Ｌｃｈ用のフィルタ部６８Ｌの動作を説明するが、Ｒｃｈ用のフィルタ部６８Ｒの動作も同様である。
【０２６６】
図２６に示すように、まず、フィルタ部６８Ｌは、雑音低減部６４Ｌから、音声スペクトル信号ＹＬ（ｋ）を取得する（Ｓ１３０）。音声スペクトル信号ＹＬ（ｋ）は、雑音低減部６４Ｌにより上述の雑音低減処理が施された音声スペクトル信号である。さらに、フィルタ部６８Ｌは、フィルタ制御部６９からカットオフ周波数Ｆｃを取得する（Ｓ１３２）。
【０２６７】
次いで、フィルタ部６８Ｌは、カットオフ周波数Ｆｃ以下の周波数成分を除去するためのハイパスフィルタＨ（ｋ）を算出する（Ｓ１３４）。ハイパスフィルタの算出方法としては、例えば、窓関数法、等リップル法、チェビシェブフィルタ、バタワースフィルタなど、公知の任意の方法を用いることができる。
【０２６８】
その後、フィルタ部６８Ｌは、以下の式（８３）により、ハイパスフィルタＨ（ｋ）を音声スペクトル信号ＹＬ（ｋ）に乗算して、音声スペクトル信号ＺＬ（ｋ）を生成する。この音声スペクトル信号ＺＬは、音声スペクトル信号ＹＬのうちのカットオフ周波数Ｆｃ以下の低周波成分を除去した音声スペクトル信号であり、図２２に示した低周波数帯域の風雑音が除去されている。
ＺＬ（ｋ）＝ＨＬ（ｋ）・ＹＬ（ｋ）  ・・・（８３）
【０２６９】
［４．４．効果］
以上、本開示の第４の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第４の実施形態によれば、上記第１の実施形態の効果に加え、次の効果を得ることができる。
【０２７０】
即ち、第４の実施形態によれば、上記第１の実施形態に係る雑音低減部６４により低減しきれずに残留している低周波数帯域の風雑音をも、適切なカットオフ周波数Ｆｃのハイパスフィルタを用いて好適に低減することができる。さらに、フィルタ制御部６９は、実際に入力される音声スペクトル信号ＸＬ、ＸＲの各周波数成分の相互相関係数Ｃｏｒｒ（ｋ）に基づいて、カットオフ周波数Ｆｃを動的に制御し、実際の音声信号ｘＬ、ｘＲに含まれる風雑音の周波数特性に応じた適切なカットオフ周波数Ｆｃを設定する。
【０２７１】
このようにフィルタ制御部６９は、当該相互相関係数Ｃｏｒｒ（ｋ）から、雑音低減部６４により風雑音を適切に低減できていない周波数帯域を特定し、当該周波数帯域に合わせてカットオフ周波数Ｆｃを設定する。これにより、風雑音低減部６４による低減処理が適切に行われている場合には、カットオフ周波数Ｆｃを比較的小さい値に設定することで、ハイパスフィルタにより所望音の低周波数成分を除去しないようにして、所望音の劣化を抑制することができる。一方、風雑音低減部６４による低減処理が不十分な場合には、カットオフ周波数Ｆｃを比較的大きな値に設定することで、風雑音低減部６４により低減できない低周波数帯域の風雑音を十分に低減することができる。
【０２７２】
また、低周波数帯域において相互相関係数Ｃｏｒｒ（ｋ）が閾値ｔｈｋ以下に低下する最小の周波数を、カットオフ周波数Ｆｃに設定することで、低周波数帯域の所望音を不必要に劣化させることなく、低周波数帯域の風雑音を適切に低減することができる。
【０２７３】
さらに、各フレームの音声スペクトル信号ＸＬとＸＲの全ての周波数成分ＣｏｒｒＴｏｔａｌの相互相関に基づいて、そのフレームに風雑音が含まれる区間（フレーム）を検出し、所望音が含まれず風雑音のみが含まれる区間のＸＬとＸＲのＣｏｒｒＴｏｔａｌから、カットオフ周波数Ｆｃを算出する。これにより、風雑音の周波数特性に合わせてカットオフ周波数Ｆｃを適切に求めて、低周波数帯域の所望音の推定精度を更に向上させることができる。
【０２７４】
＜５．第５の実施の形態＞
次に、本開示の第５の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第５の実施形態は、上記第１の実施形態と比べて、雑音低減部による低減係数の算出方法が相違する。第５の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
【０２７５】
［５．１．第５の実施形態の概要］
まず、第５の実施形態に係る音声信号処理装置及び方法の概要について説明する。上記第４の実施形態では、ハイパスフィルタ（フィルタ部６８）により、雑音低減部６４から出力された音声スペクトル信号Ｙに残留している低周波数帯域の風雑音を低減していた。しかし、ハイパスフィルタを用いた場合には、カットオフ周波数Ｆｃ以下の風雑音のみならず、所望音も同様に低減されるため、低周波数帯域の所望音が劣化してしまう。
【０２７６】
そこで、第５の実施形態では、ハイパスフィルタを用いずに、雑音低減部６４により、風雑音の特徴に応じて、上記のようにして求めた低減係数Ｇ（＝ＣＬＲ／Ｐ）（「第１の低減係数」に相当する。）をより適切な低減係数Ｇ’に補正する。即ち、雑音低減部６４は、風雑音のみが存在する区間を検出し、その区間の音声スペクトル信号Ｘから風雑音の特徴Ｑを求め、当該風雑音の特徴Ｑを用いて、風雑音を低減するための低減係数Ｇを補正して低減係数Ｇ’を得る。そして、雑音低減部６４は、当該補正後の低減係数Ｇ’を用いて音声スペクトル信号Ｘを補正することで、風雑音を低減する。これにより、上記ハイパスフィルタを用いたときのような低周波数帯域における所望音の劣化を抑え、風雑音をより好適に低減できるようになる。
【０２７７】
ここで、図２７を参照して、上記第１の実施形態に係る算出方法により算出された低減係数Ｇの改善点について検討する。図２７は、第１の実施形態に係る算出方法により算出された低減係数Ｇと周波数との関係を示す図である。図２７（Ａ）は、入力音声に所望音のみが存在するときの低減係数ＧＳ（「所望音のみが含まれる区間に対応する低減係数」に相当する。）の周波数特性を示す。図２７（Ｂ）は、入力音声に所望音及び風雑音が存在するときの低減係数Ｇ（所望音と風雑音が含まれる区間に対応する低減係数に相当する。）の周波数特性を示す。図２７（Ｃ）は、入力音声に風雑音のみが存在するときの低減係数ＧＷ（「風雑音のみが含まれる区間に対応する第２の低減係数」に相当する。）の周波数特性を示す。
【０２７８】
図２７（Ａ）に示すように、入力音声に所望音のみが存在するときは、低減係数ＧＳはほぼ１となる。従って、雑音低減部６４により低減係数ＧＳを用いて音声スペクトル信号Ｘを補正した場合でも、出力信号Ｙは入力信号Ｘとほぼ同一となる。
【０２７９】
一方、図２７（Ｂ）に示すように、入力音声に所望音及び風雑音が存在するときは、低周波数帯域において、低減係数Ｇは１より小さくなる。これは風雑音を低減するためである。また、図２７（Ｃ）に示すように、入力音声に風雑音のみが存在するときは、低周波数帯域において、低減係数ＧＷは高い値となり、１に近い値をとってしまう。このように低減係数Ｇを用いた場合、低周波数帯域では、風雑音のみが含まれている場合でも、十分な低減効果を得ることができない。このことから、図２７（Ｂ）に示すように、所望音と風雑音が含まれる区間でも、低周波数帯域に対しては、風雑音を十分に除去することができない。この理由は、所望音が原因で相関が大きいのか、或いは、風雑音が原因で相関が大きいのかの区別がつかず、ただ相関があるという点で、Ｇが１に近い値をとるからである。
【０２８０】
そこで、第５の実施形態では、低周波数帯域に関して、第１の実施形態で算出された低減係数Ｇ（第１の低減係数）から、図２７（Ｃ）に示す風雑音のみを含む区間の低減係数ＧＷ（第２の低減係数）を減算する補正を行うことで、低減係数Ｇを低減係数Ｇ’に補正する（Ｇ’＝Ｇ−ＧＷ）。これにより、低周波数帯域における風雑音の影響が低減された、より適切な低減係数Ｇ’を得ることができる。
【０２８１】
この低減係数Ｇ’の補正について、図２８を参照してより詳細に説明する。図２８は、本実施形態に係る低減係数Ｇの補正方法を示す図である。図２８において、実線は、所望音及び風雑音を含む区間の入力音声信号ｘから算出された低減係数Ｇ（＝ＣＬＲ／Ｐ）を示す。破線は、風雑音のみを含む区間の入力音声信号ｘから算出された低減係数ＧＷ（＝ＣＬＲ／Ｐ）を示す。
【０２８２】
図２８に示すように、まず、周波数帯域を例えば３つの帯域（低域ＦＬ、中域ＦＭ、高域ＦＨ）に区分する。図示の例では、低域ＦＬは約２００Ｈｚ以下、中域ＦＭは約２００Ｈｚ〜約７００Ｈｚ、高域ＦＨは約７００Ｈｚ以上の周波数帯域である。
【０２８３】
次いで、低域ＦＬ及び中域ＦＭでは、所望音及び風雑音を含む場合の低減係数Ｇから、風雑音のみを含む場合の低減係数ＧＷを減算して、低減係数Ｇ’を求める。この低減係数Ｇ’は、図２８の両矢印で示す差分の値となる。そして、雑音低減部６４は、かかる低減係数Ｇ’を低域ＦＬ及び中域ＦＭの音声スペクトル信号Ｘに乗算する。これにより、中域ＦＭにおいては、当該差分の分だけ所望音を残しつつ、風雑音をさらに低減することができる。また、低域ＦＬにおいては、ＧとＧＷはほぼ同一であり、両者の差分の低減係数Ｇ’はほぼゼロとなるので、風雑音を十分に低減することができる。
【０２８４】
一方、高域ＦＨでは、２つのマイクロホン５１間の風雑音の相互相関が十分に小さくなり、低減係数Ｇは適正値となる。従って、特に風雑音の影響を補正しなくても、第１の実施形態に係る算出方法で得られた低減係数Ｇを用いて、風雑音を適切に低減できる。そこで、雑音低減部６４は、高域ＦＨでは、ＧからＧＷを減算することなく、そのままの低減係数Ｇを音声スペクトル信号Ｘに乗算する。これにより、高域ＦＨの所望音を劣化させることなく、高域ＦＨの風雑音を適切に低減できる。
【０２８５】
［５．２．音声信号処理装置の機能構成］
次に、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。
【０２８６】
第５の実施形態に係る音声信号処理装置の機能構成は、雑音低減部６４による低減係数Ｇの補正機能を除いては、第１の実施形態に係る音声信号処理装置の機能構成（図７参照。）と略同一であるので、詳細説明は省略する。
【０２８７】
第５の実施形態に係る雑音低減部６４は、上記第１の実施形態のような低減係数Ｇの算出処理のみならず、低減係数Ｇの補正処理を行う。この補正処理により、風雑音の周波数特性に応じて低減係数Ｇから低減係数Ｇ’が算出される。
【０２８８】
具体的には、雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、上記クロススペクトルＣＬＲ及びパワースペクトルＰＬ、ＰＲから低減係数ＧＬ、ＧＲを算出する。そして、雑音低減部６４Ｌ、６４Ｒは、周波数成分ごとに、低減係数ＧＬ、ＧＲを補正して、低減係数Ｇ’Ｌ、Ｇ’Ｒを算出する。そして、雑音低減部６４Ｌ、６４Ｒは、当該低減係数Ｇ’Ｌ、Ｇ’Ｒを用いて音声スペクトル信号ＸＬ、ＸＲを補正して、風雑音を低減する。なお、かかる雑音低減部６４による低減係数Ｇの補正処理の詳細については後述する。
【０２８９】
以上、第５の実施形態に係る音声信号処理装置の音声処理部６０の機能構成について説明した。第５の実施形態では、雑音低減部６４により、実際の音声信号ｘＬ、ｘＲに含まれる風雑音の周波数特性に応じて、低減係数Ｇを適切な低減係数Ｇ’に補正する。これにより、低周波数帯域において、風雑音の相互相関係数がゼロにならない場合であっても、所望音の劣化を抑制しつつ、風雑音を適切に低減できる。
【０２９０】
［５．３．音声信号処理方法］
次に、本実施形態に係る音声信号処理装置による音声信号処理方法（風雑音の低減方法）について説明する。
【０２９１】
［５．３．１．音声信号処理装置の全体動作］
まず、本実施形態に係る音声信号処理装置の全体動作について説明する。音声信号処理装置は、２つのマイクロホン５１Ｌ、５１Ｒからそれぞれ入力される音声信号ｘＬ、ｘＲをフレームに分割し、フレーム単位で雑音低減処理を行う。ｍ番目のフレームの音声信号ｘＬ（ｍ）、ｘＲ（ｍ）が入力されると、周波数変換部６１Ｌ、６１Ｒは、当該音声信号ｘＬ（ｍ）、ｘＲ（ｍ）をフーリエ変換して、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲを周波数成分ごとに出力する。
【０２９２】
周波数変換部６１Ｌ、６１Ｒから、ｍ番目のフレームの音声スペクトル信号ＸＬ、ＸＲのｋ番目の周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）が出力されると、クロススペクトル算出部６２により、音声スペクトル信号ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）からクロススペクトルＣＬＲ（ｋ）が算出される。これと同時に、パワースペクトル算出部６３Ｌにより、音声スペクトル信号ＸＬ（ｋ，ｍ）からパワースペクトルＰＬ（ｋ）が算出され、パワースペクトル算出部６３Ｒにより、音声スペクトル信号ＸＲ（ｋ，ｍ）からパワースペクトルＰＲ（ｋ）が算出される。
【０２９３】
次いで、雑音低減部６４Ｌにより、ＣＬＲ（ｋ）とＰＬ（ｋ）から低減係数ＧＬ（ｋ）が算出され、風雑音の特徴ＱＬ（ｋ）に基づいて、低減係数ＧＬ（ｋ）が低減係数Ｇ’Ｌ（ｋ）に補正される。そして、雑音低減部６４Ｌにより、低減係数Ｇ’Ｌ（ｋ）が音声スペクトル信号ＸＬのｋ番目の周波数成分ＸＬ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が、雑音低減部６４Ｌから時間変換部６５Ｌに出力される。また、雑音低減部６４Ｒにより、ＣＬＲ（ｋ）とＰＲ（ｋ）から低減係数ＧＲ（ｋ）が算出され、風雑音の特徴ＱＲ（ｋ）に基づいて、低減係数ＧＲ（ｋ）が低減係数Ｇ’Ｒ（ｋ）に補正される。そして、雑音低減部６４Ｒにより、低減係数Ｇ’Ｒ（ｋ）が音声スペクトル信号ＸＲのｋ番目の周波数成分ＸＲ（ｋ，ｍ）に乗算される。この結果、風雑音が低減された音声スペクトル信号ＹＲのｋ番目の周波数成分ＹＲ（ｋ，ｍ）が、雑音低減部６４Ｒから時間変換部６５Ｒに出力される。
【０２９４】
その後、時間変換部６５Ｌにより、上記音声スペクトル信号ＹＬのｋ番目の周波数成分ＹＬ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＬ（ｍ）がフレーム単位で出力される。また、時間変換部６５Ｒにより、上記音声スペクトル信号ＹＲのｋ番目の周波数成分ＹＲ（ｋ，ｍ）が逆フーリエ変換されて、時間領域の音声信号ｙＲ（ｍ）がフレーム単位で出力される。
【０２９５】
［５．３．２．雑音低減部の動作］
次に、図２９、図３０を参照して、本実施形態に係る雑音低減部６４の動作について説明する。図２９は、本実施形態に係る雑音低減部６４の概略動作を示すフローチャートである。図３０は、図２９のＳ１５６〜Ｓ１６０の詳細動作を示すフローチャートである。
【０２９６】
図２９に示すように、まず、雑音低減部６４Ｌ、６４Ｌはそれぞれ、周波数変換部６１Ｌ、６１Ｒから音声スペクトル信号ＸＬ、ＸＲの各周波数成分ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）を取得する（Ｓ１５０）。さらに、雑音低減部６４Ｌ、６４Ｒはそれぞれ、クロススペクトル算出部６２から各周波数成分のクロススペクトルＣＬＲ（ｋ）を取得するとともに、パワースペクトル算出部６３Ｌから各周波数成分のパワースペクトルＰＬ（ｋ）、ＰＲ（ｋ）、を取得する（Ｓ１５２）。
【０２９７】
次いで、雑音低減部６４Ｌ、６４Ｒはそれぞれ、上述した式（４６）に示すように、周波数成分ごとに、ＣＬＲ（ｋ）をＰＬ（ｋ）、ＰＲ（ｋ）で除算して、低減係数ＧＬ（ｋ，ｍ）、ＧＲ（ｋ，ｍ）を算出する（Ｓ１５４）。
【０２９８】
さらに、雑音低減部６４Ｌ、６４Ｒは、風雑音のみ存在する区間（フレーム）を検出し、（Ｓ１５６）、当該区間の音声スペクトル信号ＸＬ（ｋ，ｍ）、ＸＲ（ｋ，ｍ）から、風雑音の周波数特性の特徴Ｑを算出する（Ｓ１５８）。次いで、雑音低減部６４Ｌ、６４Ｒは、風雑音の特徴Ｑに基づいて、Ｓ１５４で求めた低減係数ＧＬ（ｋ）、ＧＲ（ｋ）を補正して、低減係数Ｇ’Ｌ（ｋ）、Ｇ’Ｒ（ｋ）を得る（Ｓ１６０）。ここで、風雑音の特徴Ｑは、例えば。図２７（Ｃ）に示したような風雑音の低減係数ＧＷの周波数特性である。なお、これらＳ１５６〜Ｓ１６０の詳細は後述する（図３０参照。）。
【０２９９】
その後、雑音低減部６４Ｌは、以下の式（９０）に示すように、各周波数成分の低減係数Ｇ’Ｌ（ｋ）を音声スペクトル信号ＸＬの各周波数成分ＸＬ（ｋ，ｍ）に乗算して、ＸＬ（ｋ，ｍ）を減衰させ、風雑音を低減する（Ｓ１６２）。これにより、風雑音が低減された音声スペクトル信号ＹＬの各周波数成分ＹＬ（ｋ，ｍ）が得られる。同様に、雑音低減部６４Ｒは、以下の式（９１）に示すように、各周波数成分の低減係数Ｇ’Ｒ（ｋ）を音声スペクトル信号ＸＲの各周波数成分ＸＲ（ｋ，ｍ）に乗算して、ＸＲ（ｋ，ｍ）を減衰させ、風雑音を低減する。これにより、風雑音が低減された音声スペクトル信号ＹＲの各周波数成分ＹＲ（ｋ，ｍ）が得られる。
ＹＬ（ｋ，ｍ）＝Ｇ’Ｌ（ｋ）・ＸＬ（ｋ，ｍ）  ・・・（９０）
ＹＲ（ｋ，ｍ）＝Ｇ’Ｒ（ｋ）・ＸＲ（ｋ，ｍ）  ・・・（９１）
【０３００】
以上の処理を、マイクロホン５１Ｌ、５１Ｒから入力される音声信号ＸＬ、ＸＲの全てのフレームについて繰り返すことにより、フレーム単位で風雑音が低減される。
【０３０１】
次いで、図３０を参照して、図２９のＳ１５６〜Ｓ１６０の詳細について説明する。なお、以下では、Ｌｃｈ用の雑音低減部６４Ｌの動作を説明するが、Ｒｃｈ用の雑音低減部６４Ｒの動作も同様である。
【０３０２】
図３０に示すように、まず、雑音低減部６４Ｌは、上記の式（８０）により、周波数成分ごとに、音声スペクトル信号ＸＬとＸＲの相互相関係数Ｃｏｒｒ（ｋ）を算出する（Ｓ１７０）。
【０３０３】
次いで、雑音低減部６４Ｌは、ｍ番目のフレームの音声スペクトル信号ＸＬ（ｋ，ｍ）の全体成分と音声スペクトル信号ＸＲ（ｋ，ｍ）の全体成分との相互相関に基づいて、ｍ番目のフレームが、所望音を含まずに風雑音のみを含む区間であるか否かを判定する（Ｓ１７２、Ｓ１７４）。
【０３０４】
ｍ番目のフレームに風雑音の風雑音の特徴Ｑを求めるためには、ｍ番目のフレームに風雑音のみが含まれ、所望音が含まれていないことが好ましい。そこで、本実施形態では、処理対象であるｍ番目のフレームが風雑音のみを含む区間であるか否かを判定する。もしｍ番目のフレームが風雑音のみを含む場合は、ＸＬ（ｋ，ｍ）全体とＸＲ（ｋ，ｍ）全体との相互相関係数ＣｏｒｒＴｏｔａｌが小さくなるので、当該相互相関係数ＣｏｒｒＴｏｔａｌの大小により、ｍ番目のフレームが風雑音のみを含む区間であるか否かを判定できる（Ｓ１７２、Ｓ１７４）。
【０３０５】
具体的には、まず、雑音低減部６４Ｌは、上記の式（８１）により、ｍ番目のフレームの音声スペクトル信号ＸＬの全ての周波数成分ＸＬ（０〜Ｌ−１，ｍ）と音声スペクトル信号ＸＲの全ての周波数成分ＸＲ（０〜Ｌ−１，ｍ）との相互相関係数ＣｏｒｒＴｏｔａｌを算出する（Ｓ１７２）。
【０３０６】
次いで、雑音低減部６４Ｌは、Ｓ１７２で求めたＣｏｒｒＴｏｔａｌが、所定の閾値Ｔｈ以下であるか否かを判定する（Ｓ１７４）。ＣｏｒｒＴｏｔａｌ≦Ｔｈであれば、雑音低減部６４Ｌは、ＸＬとＸＲの相互相関が低いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれると判定し、風雑音の低減係数ＧＬ＿Ｗの算出及び更新処理（Ｓ１７６）を行う。一方、ＣｏｒｒＴｏｔａｌ＞Ｔｈであれば、雑音低減部６４Ｌは、ＸＬとＸＲの相互相関が高いので、ｍ番目のフレームの音声信号ｘに風雑音が含まれないと判定し、ＧＬ＿Ｗの算出及び更新処理（Ｓ１７６）を行わずに、ｍ番目のフレームの処理を終了する。
【０３０７】
次いで、当該ｍ番目のフレームに風雑音のみが含まれる場合、雑音低減部６４Ｌは、風雑音の低減係数ＧＬ＿Ｗの算出及び更新処理を行う（Ｓ１７６）。具体的には、雑音低減部６４Ｌは、周波数成分ごとに、上記Ｓ１５４で新たに算出したｍ番目のフレームの低減係数ＧＬ（ｋ，ｍ）と、過去に算出されたＧＬ＿Ｗ（ｋ）との平均値を算出し、各周波数成分の風雑音の低減係数ＧＬ＿Ｗ（ｋ）を更新する。ここで、過去に算出されたＧＬ＿Ｗ（ｋ）とは、過去に入力されたフレームの音声信号ｘＬ、ｘＲから上記と同様にして算出されたＧＬ＿Ｗ（ｋ）の平均値である。また、低減係数ＧＬ（ｋ，ｍ）は、Ｓ１５４にて風雑音のみを含む音声信号ｘＬから算出された低減係数であるので、風雑音の周波数特性を反映したものである。
【０３０８】
具体的にＳ１７６では、雑音低減部６４Ｌは、不図示の記憶部に記憶されている過去のＧＬ＿Ｗ（ｋ）を読み出し、以下の式（９２）に示すように、平滑化係数ｒＷ（０＜ｒＷ＜１）を用いてＧＬ（ｋ，ｍ）とＧＬ＿Ｗ（ｋ）を平滑化することにより、ＧＬ＿Ｗ（ｋ）を更新する。このように、現在のフレームのＧＬ（ｋ，ｍ）と過去のフレームのＧＬ＿Ｗ（ｋ）を平滑化することで、個々のフレームの音声スペクトルＸの異常値の影響を抑制できるので、信頼性の高い低減係数ＧＬ＿Ｗ（ｋ）を算出できる。
ＧＬ＿Ｗ（ｋ）＝ｒＷ・ＧＬ＿Ｗ（ｋ）＋（１−ｒＷ）・ＧＬ（ｋ，ｍ）  ・・・（９２）
【０３０９】
次いで、雑音低減部６４Ｌは、処理対象の周波数成分の周波数インデックスｋが閾値ｋＴｈ未満であるか否かにより、低減係数Ｇ’の算出方法を変更する（Ｓ１７８）。ここで、周波数インデックスｋの閾値ｋＴｈは、低減係数Ｇの補正対象となる低周波数帯域の上限（例えば、図２８の中域ＦＭと高域ＦＨの境界）を表す周波数インデックスである。
【０３１０】
閾値ｋＴｈ未満の周波数インデックスｋの周波数成分に関しては、雑音低減部６４Ｌは、以下の式（９３）により、Ｓ１５４で求めた低減係数ＧＬ（ｋ）（即ち、ｍ番目のフレームのＧＬ（ｋ，ｍ））からＧＬ＿Ｗ（ｋ）を減算する補正処理を行う（Ｓ１８０）。かかる補正により、風雑音の周波数特性に応じて補正された低減係数Ｇ’Ｌ（ｋ）が得られる（Ｓ１８０）。
Ｇ’Ｌ（ｋ）＝ＧＬ（ｋ）−ＧＬ＿Ｗ（ｋ）  ・・・（９３）
【０３１１】
一方、閾値ｋＴｈ以上の周波数インデックスｋの周波数成分に関しては、雑音低減部６４Ｌは、以下の式（９４）により、Ｓ１５４で求めた低減係数ＧＬ（ｋ）を補正することなく、当該ＧＬ（ｋ）をそのまま低減係数Ｇ’Ｌ（ｋ）とする（Ｓ１８２）。
Ｇ’Ｌ（ｋ）＝ＧＬ（ｋ）  ・・・（９４）
【０３１２】
このように、閾値ｋＴｈ未満の低周波数帯域においては、風雑音の周波特性を表す低減係数ＧＬ＿Ｗ（ｋ）を用いて低減係数Ｇ（ｋ）を補正して、低減係数Ｇ’Ｌ（ｋ）を得る。一方、閾値ｋＴｈ以上の高周波数帯域においては、ＧＬ＿Ｗ（ｋ）を用いてＧ（ｋ）を補正せずに、Ｇ（ｋ）をそのままＧ’
Ｌ（ｋ）として使用する。
【０３１３】
この結果、図２９のＳ１６２にて、閾値ｋＴｈ未満の低周波数成分に関しては、ＧＬ＿Ｗ（ｋ）によりＧＬ（ｋ）を補正した低減係数Ｇ’Ｌ（ｋ）を、音声スペクトル信号ＸＬに乗算して、雑音低減処理がなされる。一方、閾値ｋＴｈ以上の高周波数成分に関しては、低減係数ＧＬ（ｋ）を補正することなくそのまま、音声スペクトル信号ＸＬに乗算して、雑音低減処理がなされる。
【０３１４】
［５．４．効果］
以上、本開示の第５の実施形態に係る音声信号処理装置及び方法について詳細に説明した。第５の実施形態によれば、上記第１及び第４の実施形態の効果に加え、次の効果を得ることができる。
【０３１５】
即ち、第５の実施形態によれば、上記第１の実施形態に係る雑音低減部６４により低減しきれずに残留している低周波数帯域の風雑音を好適に低減できるとともに、当該低周波数帯域の所望音の劣化を極力抑制することができる。つまり、図２８に示したように、風雑音の相互相関が高い低周波数帯域（低域ＦＬ及び中域ＦＭ）に関しては、低減係数Ｇを用いて低減処理を行うと十分に風雑音を低減できないので、低減係数Ｇから風雑音の低減係数ＧＷを減算して、低減係数Ｇ’を得る。一方、風雑音の相互相関が低い高周波数帯域（高域ＦＨ）に関しては、低減係数Ｇを用いて好適に風雑音を低減できるので、低減係数Ｇを補正せずにそのまま低減係数Ｇ’として用いる。
【０３１６】
これにより、実際の音声信号ｘＬ、ｘＲに含まれる風雑音の周波数特性に応じて、低減係数Ｇを適切な低減係数Ｇ’に補正することができる。従って、低減係数Ｇ’を用いて音声スペクトル信号Ｘに含まれる風雑音を低減することで、低周波数帯域における所望音の劣化を抑制しつつ、低周波数帯域における風雑音も好適に低減できる。
【０３１７】
＜６．第６の実施の形態＞
次に、本開示の第６の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。上述した第１〜第５の実施形態では、同一の録音装置（例えばデジタルカメラ１又はスマートフォン３等）の内部で、風雑音を低減する音声信号処理を行っていた。これに対し、第６の実施形態では、複数の装置間で連携して上記と同様の音声信号処理を行う例（クラウド形式の音声信号処理装置）について説明する。
【０３１８】
［６．１．音声信号処理装置のハードウェア構成］
まず、図３１を参照して、本実施形態に係る音声信号処理装置のハードウェア構成について説明する。図３１は、本実施形態に係る音声信号処理装置のハードウェア構成を示すブロック図である。
【０３１９】
図３１に示すように、音声信号処理装置は、録音装置２００と、処理装置３００とから構成される。録音装置２００と処理装置３００は、物理的に異なる装置であり、別の場所に配置されてもよい。録音装置２００と処理装置３００は、有線又は無線を問わない任意の通信回線（例えば、インターネット、ＬＡＮ等）で接続され、音声データを送受信可能に構成される。また、録音装置２００と処理装置３００は、半導体メモリ等の任意の記録媒体を介して音声データを授受可能に構成されてもよい。
【０３２０】
録音装置２００は、少なくとも２つのマイクロホンを備え、外部音声を収音する機能を有する装置であり、例えば、上記デジタルカメラ１、スマートフォン３、携帯電話、携帯型音声レコーダ、音声携帯型ゲーム機などである。処理装置３００は、外部機器に対する通信機能を有するコンピュータ装置であり、例えば、パーソナルコンピュータ、サーバ装置、デジタル家電などである。
【０３２１】
図３１に示すように、録音装置２００は、ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、音声入力装置２０８、音声出力装置２１０、画像入力装置２１２、画像出力装置２１４、データ保持装置２１６及び通信装置２１８を備える。
【０３２２】
ＣＰＵ２０２は、録音装置２００の各部を制御する機能を有する。また、ＣＰＵ２０２は、上記の風雑音を低減する音声信号処理を行うこともできる。音声入力装置２０８は、外部音声を収音して音声データを入力する。この音声入力装置２０８は、上記２つのマイクロホン５１等で構成され、外部音声を収音して音声信号ｘＬ、ｘＲの音声データを出力する。画像入力装置２１２は、撮像素子等からなり、被写体を撮像して得た動画データを入力する。
【０３２３】
データ保持装置２１６は、音声入力装置２０８から入力された音声信号ｘＬ、ｘＲの音声データや、通信装置２１８により受信された音声データを保存する。通信装置２１８は、音声入力装置２０８から入力された音声信号ｘＬ、ｘＲの音声データや、データ保持装置２１６に保存されている音声データを、ネットワークを介して処理装置３００に送信する。また、通信装置２１８は、処理装置３００からネットワークを介して音声データを受信する。音声出力装置２１０は、スピーカ等で構成され、音声入力装置２０８から入力された音声信号ｘＬ、ｘＲの音声データや、データ保持装置２１６に保存されている音声データを、音声として出力する。
【０３２４】
また、図３１に示すように、処理装置１００は、ＣＰＵ３０２、ＲＯＭ３０４、ＲＡＭ３０６、音声出力装置３０８、画像出力装置３１０、データ保持装置３１２及び通信装置３１４を備える。
【０３２５】
ＣＰＵ３０２は、処理装置３００の各部を制御する機能を有する。また、ＣＰＵ３０２は、上記のように風雑音を低減する雑音低減処理を行うこともできる。通信装置３１４は、録音装置２００からネットワークを介して音声データを受信する。また、通信装置３１４は、ＣＰＵ３０２により雑音低減処理が施された音声データや、データ保持装置３１２に保存されている音声データを、ネットワークを介して録音装置２００に送信する。データ保持装置３１２は、通信装置３１４により受信された音声データや、ＣＰＵ３０２により雑音低減処理が施された音声データを保存する。音声出力装置３０８は、スピーカ等で構成され、通信装置３１４により受信された音声データや、ＣＰＵ３０２により雑音低減処理が施された音声データを、音声として出力する。
【０３２６】
［６．２．音声信号処理装置の機能構成］
次に、図３２を参照して、本実施形態に係る音声信号処理装置の機能構成例について説明する。図３２は、本実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
【０３２７】
図３２に示すように、音声信号処理装置は、２つの周波数変換部６１Ｌ、６１Ｒと、クロススペクトル算出部６２と、２つのパワースペクトル算出部６３Ｌ、６３Ｒと、２つの雑音低減部６４Ｌ、６４Ｒと、２つの時間変換部６５Ｌ、６５Ｒと、データ保持装置７０、７２とを備える。これら各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、上記録音装置２００又は処理装置３００プロセッサ（ＣＰＵ２０２、ＣＰＵ３０２等）が、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。
【０３２８】
図３２に示したように、第６の実施形態に係る音声信号処理装置は、第１の実施形態に係る音声信号処理装置と比べて、データ保持装置７０、７２を備え、マイクロホン５１を備えていない点で相違する。第６の実施形態に係る音声信号処理装置の機能構成は、録音装置２００と処理装置３００により分散処理する点を除いては、第１の実施形態に係る音声信号処理装置の機能構成（図７参照。）と略同一であるので、詳細説明は省略する。
【０３２９】
データ保持装置７０は、上記録音装置２００のデータ保持装置２１６に相当する。また、データ保持装置７２は、上記処理装置３００のデータ保持装置３１２に相当する。録音装置２００の画像入力装置２０８から入力された音声信号ｘＬ、ｘＲからなる音声データは、データ保持装置７０に保存される。処理装置３００は、録音装置２００のデータ保持装置７０にアクセスし、当該データ保持装置７０に保存された音声データを処理し、処理後の音声データを処理装置３００自身のデータ保持装置７２（又は録音装置２００のデータ保持装置７０）に保存する。この際、処理装置３００は、録音装置２００のデータ保持装置７０に保存された音声データを取得し、周波数変換部６１Ｌ、６１Ｒにより、当該音声データの音声信号ｘＬ、ｘＲを周波数変換する。その後、周波数変換部６１、クロススペクトル算出部６２、パワースペクトル算出部６３、雑音低減部６４及び時間変換部６５により、第１の実施形態と同様の雑音低減処理が成されて、風雑音が低減された音声信号ｙＬ、ｙＲが生成される。この音声信号ｙＬ、ｙＲは、処理装置３００自身のデータ保持装置７２（又は録音装置２００のデータ保持装置７０）に保存される。
【０３３０】
［６．３．音声信号処理方法］
次に、図３３、図３４を参照して、本実施形態に係る音声信号処理装置による音声信号処理方法について説明する。図３３は、本実施形態に係る音声信号処理装置の録音装置２００の動作を示すフローチャートである。図３４は、本実施形態に係る音声信号処理装置の処理装置３００の動作を示すフローチャートである。
【０３３１】
図３３に示すように、録音装置２００は、音声信号入力装置２０を用いて外部音声を収音し、音声信号ｘＬ、ｘＲの音声データを取得する（Ｓ２００）。次いで、録音装置２００は、通信装置２１８及びネットワーク等の通信手段を利用して、処理装置３００に音声データを転送する（Ｓ２０２）。さらに、処理装置３００により音声データの風雑音が低減される処理がなされた後に、録音装置２００は、当該風雑音が低減された音声データを、処理装置３００から通信手段を利用して取得する（Ｓ２０４）。次いで、録音装置２００は、当該音声データを動画データとミキシングして、データ保持装置２１６に保存する（Ｓ２０６）。
【０３３２】
図３４に示すように、処理装置３００は、通信装置３１４及びネットワーク等の通信手段を利用して、録音装置２００から音声データを取得する（Ｓ３００）。次いで、処理装置３００は、当該音声データの風雑音を低減する処理を行い、当該風雑音が低減された音声データをデータ保持装置３１２に保存する（Ｓ３０２）。その後、処理装置３００は、当該風雑音が低減された音声データを、通信装置３１４及びネットワーク等の通信手段を利用して、録音装置３００に送信する（Ｓ３０４）。
【０３３３】
以上のように、本実施形態では、音声を収音する録音装置２００内で雑音低減処理を行うのではなく、音声データを別の場所にある処理装置３００に転送し、当該処理装置３００より雑音低減処理を行う。このとき、処理装置３００は、マイクロホンからの入力音声ではなく、データ保持装置３１２に保持されたデータを逐次読み出しながら、雑音低減処理を行う。そして、処理装置３００は、雑音低減処理後の音声データを録音装置２００に戻し、録音装置２００は、当該音声データを動画データとともにデータ保持装置２１６に保存する。このように、複数の機器で雑音低減処理を協同することで、処理負荷を分散できるとともに、録音装置２００の処理能力を抑制して低コスト化を図ることができる。
【０３３４】
＜７．その他の適用例＞
次に、上記第１〜第６の実施形態に係る音声信号処理装置及び方法を、風雑音以外の雑音に適用する例について説明する。
【０３３５】
まず、図３５を参照して、上記音声信号処理装置及び方法をマイクロホンの暗騒音に適用する例について説明する。図３５は、マイクロホンの暗騒音の周波数特性と相互相関係数を示す図である。
【０３３６】
マイクロホンの暗騒音（マイクロホンそのものが有するノイズ）は、各々のマイクロホンでそれぞれ異なる。このため、図３５に示すように、２つのマイクロホン間の暗騒音の相互相関はほぼ無相関であり、暗騒音が雑音として収音されたときには、暗騒音の相互相関係数はほぼゼロになる。従って、上述した風雑音の低減処理を行うと、暗騒音等のマイクロホンそのものが有するノイズも合わせて低減することができる。
【０３３７】
次に、図３６を参照して、上記音声信号処理装置及び方法を、録音空間全体に存在しているノイズ（例えばファンノイズ）に適用する例について説明する。図３６は、ファンノイズの周波数特性と相互相関係数を示す図である。
【０３３８】
録音空間全体に存在しているノイズとは、例えば、録音空間に設置されたファンから発生するノイズ（ファンノイズ）などである。図３６に示すように、このファンノイズ等も２つのマイクロホン間で比較的相関が小さく、特に４ｋＨｚ以上の周波数帯域では、ほぼ無相関となる。従って、上述した風雑音の低減処理を行うと、ファンノイズ等の録音空間全体に存在しているノイズも合わせて低減することができる。
【０３３９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３４０】
例えば、上記実施形態では、音声信号処理装置としてデジタルカメラ１やスマートフォン３を例示し、動画撮像と共に録音する時に機械音を低減する例について説明したが、本発明はかかる例に限定されない。本開示の音声信号処理装置は、録音機能を有する機器であれば、任意の機器に適用できる。音声信号処理装置は、例えば、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。
【０３４１】
また、上記実施形態では、風雑音以外にも、２つのマイクロホンからの音声信号の相互相関がほぼ無相関となる雑音として、マイクロホンの暗騒音と、録音空間全体に存在しているノイズ（例えばファンノイズ）の例を挙げた。しかし、本開示は、２つのマイクロホンからの音声信号の相互相関がほぼ無相関となる雑音であれば、任意の雑音に適用できる。
【０３４２】
なお、本技術は以下のような構成も取ることができる。
【０３４３】
（１）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出する相関成分算出部と、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出する全体成分算出部と、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正する雑音低減部と、
を備える、音声信号処理装置。
【０３４４】
（２）前記第１の音声信号を第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第２の音声信号を第２の音声スペクトル信号に変換する第２の周波数変換部と、
をさらに備え、
前記第１のマイクロホン、前記第２のマイクロホンは、風雑音を含む外部音声を収音して前記第１の音声信号、前記第２の音声信号をそれぞれ出力し、
前記相関成分算出部は、前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを、前記相関成分を表すパラメータとして算出するクロススペクトル算出部を含み、
前記全体成分算出部は、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを、前記全体成分を表すパラメータとして算出するパワースペクトル算出部を含み、
前記雑音低減部は、前記クロススペクトルと前記パワースペクトルとの比率を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する、前記（１）に記載の音声信号処理装置。
【０３４５】
（３）前記第１のマイクロホンと前記第２のマイクロホンとの間の入力特性の相違により、前記第１の音声信号に含まれる所望音と前記第２の音声信号に含まれる前記所望音との間に振幅差又は位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との差分に基づいて、前記第２の音声スペクトル信号を補正する信号補正部を更に備え、
前記クロススペクトル算出部は、前記信号補正部により補正された前記第２の音声スペクトル信号と、前記第１の音声スペクトル信号から、前記クロススペクトルを算出する、前記（２）に記載の音声信号処理装置。
【０３４６】
（４）前記信号補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との二乗誤差を最小にするような補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記第２の音声スペクトル信号を周波数成分ごとに補正する、前記（３）に記載の音声信号処理装置。
【０３４７】
（５）前記第１及び第２のマイクロホンに対する所望音の音源の相対位置により、前記第１の音声信号に含まれる前記所望音と前記第２の音声信号に含まれる前記所望音との間に位相差が生じるときに、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関に基づいて、前記クロススペクトル算出部により算出された前記クロススペクトルを補正するクロススペクトル補正部を更に備え、
前記雑音低減部は、前記クロススペクトル補正部により補正された前記クロススペクトルと前記パワースペクトルとの比率を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する、前記（２）から（４）のいずれか一項に記載の音声信号処理装置。
【０３４８】
（６）前記クロススペクトル補正部は、前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような補正係数を算出し、前記補正係数を用いて前記クロススペクトルを補正する、請求項５に記載の音声信号処理装置。
【０３４９】
（７）前記クロススペクトル補正部は、前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれない区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を最大化するような前記補正係数を周波数成分ごとに算出し、前記補正係数を用いて前記クロススペクトルを周波数成分ごとに補正する、前記（５）に記載の音声信号処理装置。
【０３５０】
（８）前記雑音低減部から出力された前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、カットオフ周波数以下の周波数成分を除去するフィルタ部と、
前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関に基づいて、前記カットオフ周波数を制御するフィルタ制御部と、
を更に備える、前記（２）から（７）のいずれか一項に記載の音声信号処理装置。
【０３５１】
（９）前記フィルタ制御部は、
前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数を周波数成分ごとに算出し、
当該相互相関係数が閾値以下となる周波数成分のうち最も低い周波数成分に対応する周波数を、前記カットオフ周波数として設定する、前記（８）に記載の音声信号処理装置。
【０３５２】
（１０）前記フィルタ制御部は、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号との相互相関係数に基づいて、前記カットオフ周波数を設定する、前記（９）に記載の音声信号処理装置。
【０３５３】
（１１）前記雑音低減部は、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて第１の低減係数を算出し、前記第１の低減係数を用いて、前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正し、
前記第１の音声スペクトル信号の全ての周波数成分と前記第２の音声スペクトル信号の全ての周波数成分との相互相関係数に基づいて、前記風雑音が含まれる区間を検出し、
当該区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音の周波数特性を求め、前記風雑音の周波数特性に基づいて、前記第１の低減係数を補正する、前記（２）から（１０）のいずれか一項に記載の音声信号処理装置。
【０３５４】
（１２）前記雑音低減部は、
前記風雑音が含まれる区間の前記第１の音声スペクトル信号と前記第２の音声スペクトル信号から、前記風雑音のみが含まれる区間に対応する第２の低減係数を算出し、
前記風雑音を収音したときに前記第１の音声信号と前記第２の音声信号の間で前記風雑音に相互相関が発生する周波数帯域において、前記第１の低減係数から前記第２の低減係数を減算することで、前記第１の低減係数を補正する、前記（１１）に記載の音声信号処理装置。
【０３５５】
（１３）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
を含む、音声信号処理装置。
【０３５６】
（１４）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
をコンピュータに実行させるためのプログラム。
【０３５７】
（１５）第１のマイクロホンから出力された第１の音声信号と、前記第１のマイクロホンと同一の筐体に設けられた第２のマイクロホンから出力された第２の音声信号との相関成分を表すパラメータを算出することと、
前記第１の音声信号又は前記第２の音声信号の全体成分を表すパラメータを算出することと、
前記相関成分を表すパラメータと前記全体成分を表すパラメータとの比率に基づいて、前記第１の音声信号又は前記第２の音声信号を補正することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
【０３５８】
（１６）風雑音を含む外部音声を収音する第１のマイクロホンから出力された第１の音声信号を、第１の音声スペクトル信号に変換する第１の周波数変換部と、
前記第１のマイクロホンと同一の筐体に設けられて前記外部音声を収音する第２のマイクロホンから出力された第２の音声信号を、第２の音声スペクトル信号に変換する第２の周波数変換部と、
前記第１の音声スペクトル信号及び前記第２の音声スペクトル信号から、前記第１の音声信号と前記第２の音声信号とのクロススペクトルを算出するクロススペクトル算出部と、
前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号から、前記第１の音声信号又は前記第２の音声信号のパワースペクトルを算出するパワースペクトル算出部と、
前記クロススペクトルと前記パワースペクトルとの比率に基づいて低減係数を算出し、前記低減係数を用いて前記第１の音声スペクトル信号又は前記第２の音声スペクトル信号を補正することにより、前記風雑音を低減する雑音低減部と、
を備える、音声信号処理装置。
【符号の説明】
【０３５９】
１    デジタルカメラ
２、４    筐体
３    スマートフォン
５１、５１Ｌ、５１Ｒ、５１Ａ、５１Ｂ    マイクロホン
６０    音声処理部
６１、６１Ｌ、６１Ｒ、６１Ａ、６１Ｂ    周波数変換部
６２    クロススペクトル算出部
６３、６３Ｌ、６３Ｒ、６３Ａ    パワースペクトル算出部
６４、６４Ｌ、６４Ｒ、６４Ａ    雑音低減部
６５、６５Ｌ、６５Ｒ、６５Ａ    時間変換部
６６    信号補正部
６７    クロススペクトル補正部
６８、６８Ｌ、６８Ｒ    フィルタ部
６９    フィルタ制御部
【図１】
0005998483.tif 000020
【図２】
0005998483.tif 000021
【図３】
0005998483.tif 000022
【図４】
0005998483.tif 000023
【図５】
0005998483.tif 000024
【図６】
0005998483.tif 000025
【図７】
0005998483.tif 000026
【図８】
0005998483.tif 000027
【図９】
0005998483.tif 000028
【図１０】
0005998483.tif 000029
【図１１】
0005998483.tif 000030
【図１２】
0005998483.tif 000031
【図１３】
0005998483.tif 000032
【図１４】
0005998483.tif 000033
【図１５】
0005998483.tif 000034
【図１６】
0005998483.tif 000035
【図１７】
0005998483.tif 000036
【図１８】
0005998483.tif 000037
【図１９】
0005998483.tif 000038
【図２０】
0005998483.tif 000039
【図２１】
0005998483.tif 000040
【図２２】
0005998483.tif 000041
【図２３】
0005998483.tif 000042
【図２４】
0005998483.tif 000043
【図２５】
0005998483.tif 000044
【図２６】
0005998483.tif 000045
【図２７】
0005998483.tif 000046
【図２８】
0005998483.tif 000047
【図２９】
0005998483.tif 000048
【図３０】
0005998483.tif 000049
【図３１】
0005998483.tif 000050
【図３２】
0005998483.tif 000051
【図３３】
0005998483.tif 000052
【図３４】
0005998483.tif 000053
【図３５】
0005998483.tif 000054
【図３６】
0005998483.tif 000055