(57)【要約】【課題】突発雑音を含む実環境雑音下で雑音を抑圧して目的音の成分を強調することができる音声信号処理装置を提供する。【解決手段】空間的に離れて配置された複数のマイクロホン１０１−１〜１０１−Ｍから出力される複数チャネルの入力音声信号間の相互相関係数を相互相関係数計算部１０２により算出し、信号統合部１０３により複数チャネルの入力音声信号を１チャネルに統合して得られる統合音声信号の大きさを利得制御部１０４によって相互相関係数に従って調整することにより、目的音の成分が出力音声信号１０５を生成する。【選択図】    図１
2004289762.tif 000002
【特許請求の範囲】
【請求項１】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号のチャネル間の相互相関係数を求めるステップと、
前記入力音声信号を１チャネルに統合して統合音声信号を出力する統合ステップと、
前記統合音声信号の大きさを前記相互相関係数に従って調整することにより出力音声信号を生成するステップとを具備する音声信号処理方法。
【請求項２】
前記統合ステップは、時間領域で動作する適応ビームフォーマを用いて前記入力音声信号を１チャネルに統合する請求項１に記載の音声信号処理方法。
【請求項３】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成するステップと、
前記複数チャネルのスペクトル情報のチャネル間の相互相関係数を求めるステップと、
前記スペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合ステップと、
前記統合スペクトル信号の大きさを前記相互相関係数に従って調整するステップとを具備する音声信号処理方法。
【請求項４】
前記統合ステップは、周波数領域で動作する適応ビームフォーマを用いて前記入力音声信号を１チャネルに統合する請求項３に記載の音声信号処理方法。
【請求項５】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成するステップと、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求めるステップと、
前記パワースペクトル及びクロススペクトルから計算される重み関数を用いて周波数毎に重みを掛けて前記コヒーレンス関数を用いて前記パワースペクトル及びクロススペクトルを修正するステップと、
修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を求めるステップとを具備する音声信号処理方法。
【請求項６】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成するステップと、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求めるステップと、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を求めるステップと、
前記コヒーレンス関数を用いて前記パワースペクトル及びクロススペクトルを修正するステップと、
修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を求めるステップとを具備する音声信号処理方法。
【請求項７】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成するステップと、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求めるステップと、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を求めるステップと、
前記パワースペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を求めるステップと、
前記コヒーレンス関数及びパワー情報を用いて前記パワースペクトル及びクロススペクトルを修正するステップと、
修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を求めるステップとを具備する音声信号処理方法。
【請求項８】
前記相互相関係数に対して、予め定めた閾値を用いて閾値処理を行うことにより前記マイクロホンに目的音が到来しているか否かを判定するステップをさらに具備する請求項５、６または７のいずれか１項に記載の音声信号処理方法。
【請求項９】
前記スペクトル情報を１チャネルに統合して統合スペクトル信号を求めるステップと、前記統合スペクトル信号の大きさを前記相互相関係数に従って調整するステップとをさらに具備する請求項５、６または７のいずれか１項に記載の信号処理方法。
【請求項１０】
前記周波数分析を高速フーリエ変換処理及び帯域フィルタバンク処理の少なくとも一方により行う請求項３、５、６または７のいずれか１項に記載の音声信号処理方法。
【請求項１１】
前記コヒーレンス関数及び前記パワー情報の少なくとも一方に従って前記統合スペクトル信号の各周波数成分に対して重み付けを行うステップをさらに具備する請求項６または７に記載の音声信号処理方法。
【請求項１２】
前記相互相関係数に従って前記複数チャネルのスペクトル情報の位相及び振幅の少なくとも一方をチャネル間で一致するように補正するステップをさらに具備する請求項６または７のいずれか１項に記載の音声信号処理方法。
【請求項１３】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号のチャネル間の相互相関係数を算出する相互相関係数計算部と、
前記入力音声信号を１チャネルに統合して統合音声信号を出力する統合部と、
前記統合音声信号の大きさを前記相互相関係数に従って調整することにより出力音声信号を生成する調整部とを具備する音声信号処理装置。
【請求項１４】
前記統合部は、時間領域で動作する適応ビームフォーマを含む請求項１３に記載の音声信号処理装置。
【請求項１５】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記複数チャネルのスペクトル情報のチャネル間の相互相関係数を算出する相互相関係数計算部と、
前記スペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合部と、
前記統合スペクトル信号の大きさを前記相互相関係数に従って調整する調整部とを具備する音声信号処理装置。
【請求項１６】
前記統合部は、周波数領域で動作する適応ビームフォーマを用いて前記入力音声信号を１チャネルに統合する請求項１３に記載の音声信号処理装置。
【請求項１７】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
前記コヒーレンス関数を用いて前記パワースペクトル及びクロススペクトルを修正する修正スペクトル計算部と、
修正された前記パワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を算出する重み付き相互相関係数計算部とを具備する音声信号処理装置。
【請求項１８】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
前記パワースペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、
前記コヒーレンス関数及びパワー情報を用いて前記パワースペクトル及びクロススペクトルを修正する修正スペクトル計算部と、
修正された前記パワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を算出する重み付き相互相関係数計算部とを具備する音声信号処理装置。
【請求項１９】
前記相互相関係数に対して、予め定めた閾値を用いて閾値処理を行うことにより前記マイクロホンに目的音が到来しているか否かを判定する判定部をさらに具備する請求項１７または１８に記載の音声信号処理装置。
【請求項２０】
前記スペクトル情報を１チャネルに統合して統合スペクトル信号を求める統合部と、前記統合スペクトル信号の大きさを前記相互相関係数に従って調整する調整部とをさらに具備する請求項１７または１８に記載の音声信号処理装置。
【請求項２１】
前記周波数分析部は、高速フーリエ変換器及び帯域フィルタバンクの少なくとも一方である請求項１５、１７または１８のいずれか１項に記載の音声信号処理装置。
【請求項２２】
前記コヒーレンス関数及び前記パワー情報の少なくとも一方に従って前記統合スペクトル信号の各周波数成分に対して重み付けを行う手段をさらに具備する請求項１７または１８に記載の信号処理装置。
【請求項２３】
前記相互相関係数に従って前記複数チャネルのスペクトル情報の位相及び振幅の少なくとも一方をチャネル間で一致するように補正する手段をさらに具備する請求項１５、１７または１８のいずれか１項に記載の音声信号処理装置。
【請求項２４】
前記複数のマイクロホンは、少なくとも一つの無指向性マイクロホンと少なくとも一つの指向性マイクロホンを含む請求項１５、１７または１８のいずれか１項に記載の音声信号処理装置。
【請求項２５】
前記複数のマイクロホンは、指向性の軸の向きを異ならせた少なくとも二つの指向性マイクロホンを含む請求項１５、１７または１８のいずれか１項に記載の音声信号処理装置。
【請求項２６】
前記少なくとも二つの指向性マイクロホンは、前記指向性の軸が同一平面内に存在せず、且つ前記指向性の軸と目的音の到来方向とのなす角が一致するように配置される請求項２５に記載の音声信号処理装置。
【請求項２７】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号のチャネル間の相互相関係数を求める処理と、
前記入力音声信号を１チャネルに統合して統合音声信号を出力する処理と、
前記統合音声信号の大きさを前記相互相関係数に従って調整することにより出力音声信号を生成する処理とをコンピュータに行わせるプログラム。
【請求項２８】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、
前記複数チャネルのスペクトル情報のチャネル間の相互相関係数を求める処理と、
前記スペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合処理と、
前記統合スペクトル信号の大きさを前記相互相関係数に従って調整する処理とをコンピュータに行わせるためのプログラム。
【請求項２９】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める処理と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を求める処理と、
前記コヒーレンス関数を用いて前記パワースペクトル及びクロススペクトルを修正する処理と、
修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を求める処理とをコンピュータに行わせるためのプログラム。
【請求項３０】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める処理と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を求める処理と、
前記パワースペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を求める処理と、
前記コヒーレンス関数及びパワー情報を用いて前記パワースペクトル及びクロススペクトルを修正する処理と、
修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、前記入力音声信号のチャネル間の相互相関係数を求める処理とをコンピュータに行わせるためのプログラム。
【請求項３１】
空間的に離れて配置された複数のマイクロホンに入力される音声に応答して該マイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
音声の複数の仮想到来方向からなる仮想到来方向群に対応して、該仮想到来方向から到来する音声が複数のチャネル間で一致するように補正するための補正係数を発生する補正係数発生部と、
前記補正係数に基づいて前記パワースペクトル及びクロススペクトルを補正し、補正パワースペクトル及び補正クロススペクトルを生成するスペクトル補正部と、
前記補正パワースペクトル及び補正クロススペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、
前記補正パワースペクトル及び補正クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、前記仮想到来方向群に対応した前記入力音声信号のチャネル間の相互相関係数を前記仮想到来方向毎に算出する相関係数計算部と、
前記相互相関係数に基づいて前記マイクロホンに入力される音声の音源方向を検出すると共に、検出した該音源方向における前記相互相関係数の値を音源相関係数として出力する音源方向検出部とを具備する音声信号処理装置。
【請求項３２】
前記音源方向に基づいて前記複数チャネルのスペクトル情報を補正するスペクトル情報補正部と、
補正された複数チャネルのスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合部と、
前記コヒーレンス関数を用いて前記統合スペクトル信号をフィルタリングするコヒーレンスフィルタ演算部と、
フィルタリングされた統合スペクトル信号の大きさを前記音源相関係数に基づいて調整することにより出力音声信号を生成する調整部とをさらに具備する請求項３１記載の音声信号処理装置。
【請求項３３】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
前記パワースペクトルから前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、
前記複数のスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合部と、
前記統合スペクトル信号のパワースペクトルを計算する統合信号パワースペクトル計算部と、
前記クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、重み付けたクロススペクトルをさらに前記統合スペクトル信号のパワースペクトルに基づいて正規化して利得係数を計算する利得係数計算部とを具備する音声信号処理装置。
【請求項３４】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
前記複数のスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合部と、
前記統合したスペクトル情報のパワースペクトルを計算する統合信号パワースペクトル計算部と、
前記クロススペクトルを前記コヒーレンス関数に基づいて重み付けし、重み付けたクロススペクトルをさらに前記統合信号パワースペクトルに基づいて正規化して利得係数を計算する利得係数計算部とを具備する音声信号処理装置。
【請求項３５】
前記利得係数に基づき前記統合スペクトル信号の大きさを調整する調整部と、前記調整部から出力される統合スペクトル信号を前記コヒーレンス関数に基づいてフィルタリングして出力音声信号を出力するコヒーレンスフィルタ演算部とをさらに具備する請求項３４または３５に記載の音声信号処理装置。
【請求項３６】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、
前記複数チャネル間のクロススペクトルと各チャネルのパワースペクトルから前記複数チャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、
音声の複数の仮想到来方向からなる仮想到来方向群に対応して、該仮想到来方向から到来する音声が複数のチャネル間で一致するように補正するための補正係数を発生する補正係数発生部と、
前記補正係数に基づいて前記パワースペクトル及びクロススペクトルを補正し、補正パワースペクトル及び補正クロススペクトルを生成するスペクトル補正部と、
前記補正パワースペクトル及び補正クロススペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、
前記複数チャネルのスペクトル情報を前記補正係数により補正してから統合して得られる統合スペクトル情報に対するパワースペクトルを前記補正パワースペクトル及び補正クロススペクトルに基づいて計算する仮想統合パワースペクトル計算部と、
前記補正クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、さらに仮想統合パワースペクトルに基づいて正規化することにより、前記仮想到来方向に対応した利得係数を求める利得係数計算部と、
前記利得係数に基づいて前記マイクロホンに入力される音声の音源方向を検出すると共に、検出した該音源方向に対応する利得係数の値を音源利得係数として出力する音源方向検出部とを具備する音声信号処理装置。
【請求項３７】
前記補正係数に基づいて前記複数チャネルのスペクトル情報を補正するスペクトル情報補正部と、
前記補正された複数チャネルのスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する信号統合部と、
前記コヒーレンス関数を用いて前記統合スペクトル信号をフィルタリングするコヒーレンスフィルタ演算部と、
フィルタリングされた統合スペクトル信号の大きさを前記音源相関係数に基づいて調整する調整部とをさらに具備する請求項３６記載の音声信号処理装置。
【請求項３８】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部と、
前記複数チャネルのスペクトル情報を入力として、前記複数チャネルの入力音声信号のチャネル間の第１の修正相互相関係数を計算する第１の修正相互相関係数計算部と、
前記第１の修正相互相関係数に基づいて前記複数チャネルのスペクトル情報のチャネル間の差を適応的に補正して補正スペクトル情報を生成する適応スペクトル補正部と、
前記補正スペクトル情報から第２の修正相互相関係数を計算する第２の修正相互相関係数計算部とを具備し、
前記第１及び第２の修正相互相関係数計算部は、（ａ）前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、（ｂ）前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、（ｃ）前記パワースペクトルから前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、（ｄ）前記パワースペクトル及びクロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けして前記入力音声信号のチャネル間の相互相関係数を算出し、前記第１または第２の修正相互相関関数を出力する相関係数計算部とを有する音声信号処理装置。
【請求項３９】
空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルの第１スペクトル情報を生成する周波数分析部と、
前記第１スペクトル情報から第１の修正利得を計算する第１の修正利得係数計算部と、
前記第１の利得係数に基づいて前記第１スペクトル情報のチャネル間の差を適応的に補正して第２スペクトル情報を生成する適応スペクトル補正部と、
前記第２スペクトル情報から第２の修正利得を計算する第２の修正利得係数計算部とを具備し、
前記第１及び第２の修正利得係数計算部は、（ａ）前記第１または第２スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出するスペクトル計算部と、（ｂ）前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出するコヒーレンス関数計算部と、（ｃ）前記パワースペクトルから前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出するパワー情報計算部と、（ｄ）前記複数のスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合部と、（ｅ）前記統合スペクトル信号のパワースペクトルを計算する統合信号パワースペクトル計算部と、（ｆ）前記クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、重み付けたクロススペクトルをさらに前記統合スペクトル信号のパワースペクトルに基づいて正規化して前記第１または第２の利得係数を計算する利得係数計算部とを有する音声信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のマイクロホンによって得られる入力音声信号を処理する音声信号処理方法と装置及びプログラムに関する。より詳しくは、本発明は例えばハンズフリー通話や音声認識等において用いられる雑音抑圧技術の一つとして入力音声信号から目的とする音声信号を強調して出力する技術に関する。
【０００２】
【従来の技術】
音声信号処理の分野では、音声認識や携帯電話の実用化に伴い、雑音対策が重要な問題となってきている。雑音抑圧技術としては、一つのマイクロホンを使う場合に用いられる、例えば雑音の定常性を仮定したスペクトルサブトラクション処理と、複数のマイクロホンを用いるマイクロホンアレイ処理がある。マイクロホンアレイ処理には、少数のマイクロホンでも高い雑音抑圧能力を発揮する適応型マイクロホンアレイがコスト面から有望である。適応マイクロホンアレイは、雑音方向に受音感度の低い死角を自動的に向けることにより雑音を抑圧するものであり、適応ビームフォーマ（適応ＢＦ）と呼ばれることもある。
【０００３】
適応ビームフォーマは、方向性の強い雑音に対しては効果的であるが、その他の雑音、例えば（１）  車で走行中に発生する雑音のような高レベルの拡散性雑音、（２）  高速で移動する車からの放射音のように音響伝達系の変化が速い雑音、あるいは（３）  突発雑音のような継続時間が非常に短い雑音、等に関しては抑圧性能が十分ではない。これらのような雑音は実環境ではごく普通に存在するため、対処が必要である。
【０００４】
非特許文献１には、複数のマイクロホンからの入力音声信号の２チャネル間のコヒーレンス関数に基づいたフィルタリングを行って雑音を抑圧する技術が示されている。
一方、非特許文献２では、相関の大きい雑音に対処するため、目的音のない区間でチャネル間の雑音のクロススペクトルを推定しておき、目的音のある区間で雑音の重畳した目的音のクロススペクトルから雑音のクロススペクトルを引き去る技術が開示されている。
【０００５】
非特許文献３には、例えば複数チャネルの信号間の相互相関を用いて信号検出処理を行うために、コヒーレンス関数を閾値処理することによって目的信号の存在を判別する方法が示されている。
非特許文献４には、複数のマイクロホンから出力される複数チャネルの音声信号間の相互相関係数を閾値処理することにより、目的音を検出する方法が開示されている。
非特許文献５には、適応ビームフォーマを用いて２以上のチャネルの音声信号を１チャネルに統合する方法が記載されている。
非特許文献６には、重み関数を用いて複数チャネルの音声信号のチャネル間の一般化相互相関関数（ｇｅｎｅｒａｌｉｚｅｄ  ｃｒｏｓｓ  ｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）を最尤推定する方法が開示されている。
【０００６】
【非特許文献１】
“Ｕｓｉｎｇ  ｔｈｅ  ｃｏｈｅｒｅｎｃｅ  ｆｕｎｃｔｉｏｎ  ｆｏｒ  ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ”，  ＩＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ−Ｉ  Ｖｏｌ．１３９，  Ｎｏ．３，  １９９２
【０００７】
【非特許文献２】
“Ｅｎｈａｎｃｅｍｅｎｔ  ｏｆ  ｓｐｅｅｃｈ  ｄｅｇｒａｄｅｄ  ｂｙ  ｃｏｈｅｒｅｎｔ  ａｎｄ  ｉｎｃｏｈｅｒｅｎｔ  ｎｏｉｓｅ  ｕｓｉｎｇ  ａ  ｃｒｏｓｓ−ｓｐｅｃｔｒａｌ  ｅｓｔｉｍａｔｏｒ”，  ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｓｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．５，  Ｎｏ．５，  １９９７
【０００８】
【非特許文献３】
“Ｋｎｏｗｉｎｇ  ｔｈｅ  Ｗｈｅａｔ  ｆｒｏｍ  ｔｈｅ  Ｗｅｅｄｓ  ｉｎ  Ｎｏｉｓｙ  Ｓｐｅｅｃｈ”，  Ｈ．  Ａｇａｉｂｙ  ａｎｄ  Ｔ．  Ｊ．  Ｍｏｉｒ  著，  Ｐｒｏｃ．  ｏｆ  ＥＵＲＯＳＰＥＥＣＨ’９７，  ｖｏｌ．３，  ｐｐ．１１１−１１２，  １９９７
【０００９】
【非特許文献４】「２つの指向性マイクロホンを用いた目的音検出に関する検討」、永田他、電子情報通信学会誌  Ｖｏｌ．Ｊ８３−Ａ  Ｎｏ．２  （２０００））
【００１０】
【非特許文献５】
“Ｔｈｅ  ａｄａｐｔｉｖｅ  ｆｉｌｔｅｒ  ｔｈｅｏｒｙ”，  Ｈｙａｋｉｎ  著，  ＰＲＥＮＴＩＣＥ  ＨＡＬＬ  出版
【００１１】
【非特許文献６】
“Ｔｈｅ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｔｉｍｅ  Ｄｅｌａｙ”，  Ｃ．  Ｈ．  Ｋｎａｐｐ  ａｎｄ  Ｇ．  Ｃ．  Ｃａｒｔｅｒ  著，ＩＥＥＥ  Ｔｒａｎｓ，  Ａｃｏｕｓｔ．，  Ｓｐｅｅｃｈ，  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．ＡＳＳＰ−２４，  Ｎｏ．４，  ｐｐ．３２０−３２７，  １９７６
【００１２】
【発明が解決しようとする課題】
非特許文献１に記載された技術は、（１）の拡散性雑音のようにチャネル間で無相関であると仮定できる雑音に対しては有効である。しかし、（３）の突発性雑音や、ビームフォーマによって抑圧できた方向性のある雑音は、チャネル間の相関が大きくなるため、抑圧することができない。非特許文献２に記載の技術によると、このようなチャネル間の相関が大きい雑音を抑圧できる。しかし、この方法が有効なのは、雑音に方向性があり、かつ、雑音の定常性が仮定できる場合に限られる。このような雑音環境では、むしろビームフォーマのように指向性の死角を雑音源に向ける手法の方がよりよく対処できる。
【００１３】
本発明は、突発雑音を含む実環境雑音下で雑音を抑圧して目的音の成分を強調することができる音声信号処理方法と装置及びプログラムを提供することを目的とする。
【００１４】
本発明の他の目的は、目的音が到来しているか否かの検出を高精度で行うことを目的とする。
【００１５】
【課題を解決するための手段】
上記の課題を解決するため、本発明の第１の観点によると、空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号間の相互相関係数を求める。入力音声信号を１チャネルに統合して得られる統合音声信号の大きさを相互相関係数に従って調整することにより、目的音の成分が強調された出力音声信号を生成する。
【００１６】
本発明の第２の観点では、各マイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成し、複数チャネルのスペクトル情報間の相互相関係数を求める。スペクトル情報を１チャネルに統合して得られる統合スペクトル信号の大きさを相互相関係数に従って調整することにより、目的音の成分が強調されたスペクトル信号を得る。
【００１７】
本発明の第３の観点では、各マイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成し、これらのスペクトル情報から入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める。さらに、パワースペクトル及びクロススペクトルから各チャネルのスペクトル情報間のコヒーレンス関数を求める。次に、コヒーレンス関数を用いてパワースペクトル及びクロススペクトルを修正し、修正後のパワースペクトル及びクロススペクトルに基づいて重み付けられた、入力音声信号のチャネル間の相互相関係数を求める。
【００１８】
本発明の第４の観点では、各マイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成し、これらのスペクトル情報から入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める。さらに、パワースペクトル及びクロススペクトルから各チャネルのスペクトル情報間のコヒーレンス関数を求め、またスペクトル情報から入力音声信号のチャネル間の信号パワーに関するパワー情報を求める。次に、コヒーレンス関数及びパワー情報を用いてパワースペクトル及びクロススペクトルを修正し、修正後のパワースペクトル及びクロススペクトルに基づいて重み付けられた、入力音声信号のチャネル間の相互相関係数を求める。
【００１９】
第３または第４の観点において、相互相関係数に対して予め定めた閾値を用いて閾値処理を行うことによりマイクロホンに目的音が到来しているか否かを判定してもよい。スペクトル情報を１チャネルに統合して統合スペクトル信号を求め、この統合スペクトル信号の大きさを相互相関係数に従って調整してもよい。コヒーレンス関数に従って、統合スペクトル信号の各周波数成分に対して重み付けを行ってもよい。相互相関係数に従って、複数チャネルのスペクトル情報の位相及び振幅の少なくとも一方をチャネル間で一致するように補正してもよい。
【００２０】
第３及び第４の観点において、複数のマイクロホンは、少なくとも一つの無指向性マイクロホンと少なくとも一つの指向性マイクロホンを含んでもよいし、指向性の軸の向きを異ならせた少なくとも二つの指向性マイクロホンを含んでもよい。後者の場合、少なくとも二つの指向性マイクロホンは、指向性の軸が同一平面内に存在せず、且つ指向性の軸と目的音の到来方向とのなす角が一致するように配置されることが好ましい。
【００２１】
さらに本発明の別の観点によると、上述した音声信号処理をコンピュータで実行するための以下のようなプログラムあるいは該プログラムを記憶した記憶媒体を提供する。
【００２２】
（１）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号間の相互相関係数を求める処理と、入力音声信号を１チャネルに統合して統合音声信号を出力する処理と、統合音声信号の大きさを相互相関係数に従って調整することにより出力音声信号を生成する処理とをコンピュータに行わせるプログラム。
【００２３】
（２）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、複数チャネルのスペクトル情報間の相互相関係数を求める処理と、スペクトル情報を１チャネルに統合して統合スペクトル信号を生成する統合処理と、統合スペクトル信号の大きさを相互相関係数に従って調整する処理とをコンピュータに行わせるためのプログラム。
【００２４】
（３）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、スペクトル情報から入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める処理と、パワースペクトル及びクロススペクトルから複数チャネルのスペクトル情報間のコヒーレンス関数を求める処理と、コヒーレンス関数を用いてパワースペクトル及びクロススペクトルを修正する処理と、修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、入力音声信号のチャネル間の相互相関係数を求める処理とをコンピュータに行わせるためのプログラム。
【００２５】
（４）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、スペクトル情報から入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを求める処理と、パワースペクトル及びクロススペクトルから複数チャネルのスペクトル情報間のコヒーレンス関数を求める処理と、スペクトル情報に基づいて入力音声信号のチャネル間の信号パワーに関するパワー情報を求める処理と、コヒーレンス関数及びパワー情報を用いてパワースペクトル及びクロススペクトルを修正する処理と、修正されたパワースペクトル及びクロススペクトルに基づいて重み付けられた、入力音声信号のチャネル間の相互相関係数を求める処理とをコンピュータに行わせるためのプログラム。
【００２６】
（５）空間的に離れて配置された複数のマイクロホンに入力される音声に応答して該マイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する処理と、前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出する処理と、音声の複数の仮想到来方向からなる仮想到来方向群に対応して、該仮想到来方向から到来する音声が複数のチャネル間で一致するように補正するための補正係数を発生する処理と、前記補正係数に基づいて前記パワースペクトル及びクロススペクトルを補正し、補正パワースペクトル及び補正クロススペクトルを生成する処理と、前記補正パワースペクトル及び補正クロススペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する処理と、前記補正パワースペクトル及び補正クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、前記仮想到来方向群に対応した前記入力音声信号のチャネル間の相互相関係数を前記仮想到来方向毎に算出する処理と、前記相互相関係数に基づいて前記マイクロホンに入力される音声の音源方向を検出すると共に、検出した該音源方向における前記相互相関係数の値を音源相関係数として出力する処理とをコンピュータに行わせるためのプログラム。
【００２７】
（６）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する処理と、前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出する処理と、前記複数のスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する処理と、前記統合スペクトル信号のパワースペクトルを計算する処理と、前記クロススペクトルを前記コヒーレンス関数に基づいて重み付けし、重み付けたクロススペクトルをさらに前記統合信号パワースペクトルに基づいて正規化して利得係数を計算する処理とをコンピュータに行わせるためのプログラム。
【００２８】
（７）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する処理と、前記複数チャネル間のクロススペクトルと各チャネルのパワースペクトルから前記複数チャネル間のコヒーレンス関数を算出する処理と、音声の複数の仮想到来方向からなる仮想到来方向群に対応して、該仮想到来方向から到来する音声が複数のチャネル間で一致するように補正するための補正係数を発生する処理と、前記補正係数に基づいて前記パワースペクトル及びクロススペクトルを補正し、補正パワースペクトル及び補正クロススペクトルを生成する処理と、前記補正パワースペクトル及び補正クロススペクトルに基づいて前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する処理と、前記複数チャネルのスペクトル情報を前記補正係数により補正してから統合して得られる統合スペクトル情報に対するパワースペクトルを前記補正パワースペクトル及び補正クロススペクトルに基づいて計算する処理と、前記補正クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、さらに仮想統合パワースペクトルに基づいて正規化することにより、前記仮想到来方向に対応した利得係数を求める処理と、前記利得係数に基づいて前記マイクロホンに入力される音声の音源方向を検出すると共に、検出した該音源方向に対応する利得係数の値を音源利得係数として出力する処理とをコンピュータに行わせるためのプログラム。
【００２９】
（８）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する処理と、前記複数チャネルのスペクトル情報を入力として、前記複数チャネルの入力音声信号のチャネル間の第１の修正相互相関係数を計算する処理と、前記第１の修正相互相関係数に基づいて前記複数チャネルのスペクトル情報のチャネル間の差を適応的に補正して補正スペクトル情報を生成する処理と、前記補正スペクトル情報から第２の修正相互相関係数を計算する処理とをコンピュータに実行させるためのプログラムであって、前記第１及び第２の修正相互相関係数の計算処理は、（ａ）前記スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する処理と、（ｂ）前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出する処理と、（ｃ）前記パワースペクトルから前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する処理と、（ｄ）前記パワースペクトル及びクロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けして前記入力音声信号のチャネル間の相互相関係数を算出し、前記第１または第２の修正相互相関関数を出力する処理とを含む。
【００３０】
（９）空間的に離れて配置された複数のマイクロホンから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルの第１スペクトル情報を生成する処理と、前記第１スペクトル情報から第１の修正利得を計算する処理と、前記第１の利得係数に基づいて前記第１スペクトル情報のチャネル間の差を適応的に補正して第２スペクトル情報を生成する処理と、前記第２スペクトル情報から第２の修正利得を計算する処理とをコンピュータに行わせるためのプログラムであって、前記第１及び第２の修正利得係数の計算処理は、（ａ）前記第１または第２スペクトル情報から前記入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する処理と、（ｂ）前記パワースペクトル及びクロススペクトルから前記複数チャネルのスペクトル情報のチャネル間のコヒーレンス関数を算出する処理と、（ｃ）前記パワースペクトルから前記入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する処理と、（ｄ）前記複数のスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する処理と、（ｅ）前記統合スペクトル信号のパワースペクトルを計算する処理と、（ｆ）前記クロススペクトルを前記コヒーレンス関数及びパワー情報に基づいて重み付けし、重み付けたクロススペクトルをさらに前記統合スペクトル信号のパワースペクトルに基づいて正規化して前記第１または第２の利得係数を計算する処理とを含む。
【００３１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下に説明する各実施形態における音声信号処理は、コンピュータ上で実行されるソフトウェア（ファームウェアを含む）として実現することが可能であり、またハードウェアによって実現することも可能である。
【００３２】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る信号処理装置の構成を示す。複数のマイクロホン１０１−１〜１０１−Ｍによって、例えば話者の入力音声のような目的音を含む音響信号が検出され、複数（Ｍ）チャネルの入力音声信号が出力される。ここで、雑音を抑圧して入力音声のうち最終的に出力音声として取り出したい成分を目的音という。マイクロホン１０１−１〜１０１−Ｍからの入力音声信号は、図示しないＡ／Ｄ変換器によりディジタル信号に変換された後、相互相関計算部１０２と信号統合部１０３に入力される。
【００３３】
相互相関計算部１０２では、Ｍチャネルの入力音声信号間の相互相関係数が計算される。信号統合部１０３では、Ｍチャネルの入力音声信号が１チャネルに統合される。信号統合部１０３から出力される信号を統合音声信号という。統合音声信号は、相互相関係数に従って利得が制御される利得制御部１０４に入力され、その大きさが調整される。これにより、利得制御部１０４から目的音の成分が強調された出力音声信号１０５が出力される。
【００３４】
一般に、複数チャネルの観測信号に対して計算される相互相関係数は、雑音下の目的信号の検出尺度としてソナーやレーダの処理において古くから使われている。本実施形態では、音声信号処理において目的音の検出だけでなく、目的音の強調に用いる方法を提案する。この方法により、チャネル間で無相関な雑音のある環境下でも、雑音を効果的に抑圧できる。
【００３５】
本実施形態でいう相互相関係数とは、入力音声信号がｘ（ｎ），ｙ（ｎ）の２チャネルの場合、次式で計算される値ρである。
【００３６】
【数１】
2004289762.tif 000003
【００３７】
ここで、上線が付された値は、期待値または時間平均値を表す（以後、同様とする）。
【００３８】
入力音声信号がＭチャネルの場合（２チャネルに限定されない場合）には、相互相関係数ρは例えば次式で計算される。
【００３９】
【数２】
2004289762.tif 000004
【００４０】
ここで、ｘｐ（ｎ），ｘｑ（ｎ）はそれぞれ第ｐチャネル，第ｑチャネルの入力音声信号であり、またＫ＝Ｍ（Ｍ−１）／２である。
【００４１】
従来、複数チャネルの信号のチャネル間相互相関は信号検出処理に用いられ、例えば、コヒーレンス関数を閾値処理することによって目的信号の存在を判別する方法が例えば、非特許文献３：“Ｋｎｏｗｉｎｇ  ｔｈｅ  Ｗｈｅａｔ  ｆｒｏｍ  ｔｈｅ  Ｗｅｅｄｓ  ｉｎ  Ｎｏｉｓｙ  Ｓｐｅｅｃｈ”，  Ｈ．  Ａｇａｉｂｙ  ａｎｄ  Ｔ．  Ｊ．  Ｍｏｉｒ  著，  Ｐｒｏｃ．  ｏｆ  ＥＵＲＯＳＰＥＥＣＨ’９７，  ｖｏｌ．３，  ｐｐ．１１１−１１２，  １９９７に開示されている。
【００４２】
相互相関係数は音声検出にも使われており、この値を閾値処理して目的音を検出する方法は、例えば非特許文献４：「２つの指向性マイクロホンを用いた目的音検出に関する検討」、永田他、電子情報通信学会誌  Ｖｏｌ．Ｊ８３−Ａ  Ｎｏ．２  （２０００））に開示されている。本実施形態は、閾値処理による目的音の検出ではなく、相互相関を目的音の強調に用いる点が特徴である。
【００４３】
相互相関係数ρは、入力音声に目的音が存在する場合は１に近い値をとり、雑音だけなら０に近い値となるので、音声強調に用いるには相互相関係数の大きさに従って統合音声信号に与える利得を制御すればよい。すなわち、マイクロホン１０１−１〜１０１−Ｍから得られる複数チャネルの入力音声信号について、相互相関係数計算部１０２により式（１−１）または（１−２）に従ってチャネル間の相互相関係数を計算する。この相互相関係数に基づき利得制御部１０４の利得を制御し、信号統合部１０３からの統合音声信号の振幅を利得制御部１０４で調整することによって出力音声信号１０５を生成する。
【００４４】
相互相関係数ρは、−１から＋１の範囲をとる。従って、利得制御部１０４では相互相関係数の絶対値をとってから用いるか、あるいは相互相関係数が負の場合は０と置くようにする。利得制御部１０４での利得制御は、こうして計算された相互相関係数を例えば統合音声信号の振幅に乗算することにより行われる。この場合、相互相関係数と利得の関係を図２に示す直線（Ａ）のような比例関係に設定してもよいし、例えば図２の折れ線（Ｂ）や曲線（Ｃ）のような関係にしてもよい。
【００４５】
次に、図３を用いて本実施形態における処理の流れを説明する。
まず、マイクロホン１０１−１〜１０１−Ｍから音声信号を入力する（ステップＳ１１）。マイクロホンが二つの場合を例にとると、例えば図４に示すように二つのマイクロホン１０１−１〜１０１−２を１０ｃｍ程度の距離を置いて、目的音源が各マイクロホン１０１−１〜１０１−２から等距離となるように設置する。マイクロホン１０１−１〜１０１−２の各々は指向性があってもよいし、無指向性でもよい。入力音声信号をディジタル化するＡ／Ｄ変換器のサンプリング周波数は例えば１１ｋＨｚとするが、他の周波数でもかまわない。
【００４６】
次に、相互相関係数ρを式（１−１）または式（１−２）によって計算する。このとき、相互相関係数ρの時間変化を考慮して、適当な時間間隔、例えば、Ｎ＝１２８点おきに相互相関係数ρを求めることとし、時間平均を例えば対象時点の前後Ｌ点、計２Ｌ点の波形に対して式（１−１）を適用すると、相互相関係数ρを求める数式は以下となる。
【００４７】
【数３】
2004289762.tif 000005
【００４８】
ここで、ｋは相互相関係数の番号であり、ρの値は入力音声信号波形のＮサンプル毎に１個求まる。
【００４９】
式（１−２）を用いた場合も同様に、次式によって相関係数ρが求まる。
【００５０】
【数４】
2004289762.tif 000006
【００５１】
ここで、Ｋ＝Ｍ（Ｍ−１）／２である。
【００５２】
次に、信号統合部１０３によって複数チャネルの入力音声信号を１チャネルに統合する。信号統合部１０３の処理は、例えば単純な加算であってもよいし、図５に示すように雑音抑圧の機能を持つ、時間領域で動作する適応ビームフォーマ１０６による処理であってもよい。信号統合部１０３が単純な加算を行うとすると、統合音声信号ｚ（ｎ）は、次式のように求まる。
【００５３】
【数５】
2004289762.tif 000007
【００５４】
信号統合部１０３に図５のように適応ビームフォーマ１０６、例えば、よく知られているＬＭＳ適応フィルタによる２チャネルのＪｉｍ−Ｇｒｉｆｆｉｔｈビームフォーマを用いた場合、次式のように統合音声信号ｚ（ｎ）が求まる。
【００５５】
【数６】
2004289762.tif 000008
【００５６】
ここで、Ｕ（ｎ）は入力音声信号ｘ，ｙの差の値をＴ個並べたベクトル、Ｗ（ｎ）＝［ｗ１（ｎ），ｗ２（ｎ），．．．，ｗＴ（ｎ）］はｎ回更新を行った後のＬＭＳ適応フィルタの係数、ｄ（ｎ）は入力音声信号ｘ，ｙの和信号、（・）は内積である。Ｄは遅延量であり、例えばＴ／２を用いる。μはステップサイズであり、例えば０．１を用いればよい。Ｍチャネルの場合への拡張も容易であり、Ｍ−１個の適応ビームフォーマを用いて１チャネルに統合された音声信号を得る方法が、例えば非特許文献５：“Ｔｈｅ  ａｄａｐｔｉｖｅ  ｆｉｌｔｅｒ  ｔｈｅｏｒｙ”，  Ｈｙａｋｉｎ  著，  ＰＲＥＮＴＩＣＥ  ＨＡＬＬ  出版に詳述されているが、ここでは詳しい説明を省略する。
【００５７】
最後に、統合音声信号ｚ（ｎ）に相互相関係数ρに基づく利得を乗じて統合音声信号ｚ（ｎ）の大きさを調整することにより、出力音声信号１０５を出力する。ステップＳ１１〜Ｓ１４の処理は、ディジタル化された音声信号がステップＳ１１においてフレーム単位で入力される毎に繰り返し行われる。
【００５８】
このように本実施形態によれば、複数チャネルの入力音声信号が１チャネルに統合された統合音声信号の大きさを各チャネルの入力音声信号間の相互相関関数に従って調整することにより、相関の少ない雑音が抑圧され、相関の大きい目的音の成分が強調された出力音声信号を得ることが可能となる。
【００５９】
（第２の実施形態）
図６に、本発明の第２の実施形態に係る音声信号処理装置の構成を示す。本実施形態では、第１の実施形態で説明した時間領域での音声信号処理と等価な音声信号処理を周波数領域で実現する。図６において、複数のマイクロホン１０１−１〜１０１−Ｍからの入力音声信号は図示しないＡ／Ｄ変換器によりディジタル信号に変換された後、周波数分析部２０１により周波数成分が分析され、周波数スペクトルを表すスペクトル情報が生成される。周波数分析部２０１は、例えば公知のＦＦＴ（高速フーリエ変換）、ＤＦＴ（離散フーリエ変換）、あるいは通過帯域の異なる複数の帯域フィルタを並列に配置した帯域フィルタバンクによって実現される。周波数分析部２０１から出力されるスペクトル情報は、相関係数計算部２０２と信号統合部２０３に入力される。
【００６０】
相互相関計算部２０２では、Ｍチャネルのスペクトル情報間の相互相関係数、すなわち周波数領域の相互相関係数が計算される。言い換えれば、本実施形態ではスペクトル情報を用いてＭチャネルの入力音声信号のチャネル間の相互相関係数が求められる。信号統合部２０３では、Ｍチャネルのスペクトル情報が１チャネルに統合される。信号統合部２０３の処理は、第１の実施形態で説明したと同様、例えば単純な加算であってもよいし、周波数領域で動作する適応フィルタを用いたＪｉｍ−Ｇｒｉｆｆｔｈの適応ビームフォーマによる処理であってもよい。信号統合部２０３から出力される信号を統合スペクトル信号という。
【００６１】
信号統合部２０３から出力される統合スペクトル信号は、相互相関係数に従って利得が制御される利得制御部２０４に入力され、その大きさが調整される。これにより、利得制御部２０４から目的音の成分が強調されたスペクトル信号２０５が出力される。第１の実施形態と同様に、相互相関係数計算部２０２により得られる周波数領域の相互相関係数も、目的音が存在する場合は１に近い値をとり、雑音だけなら０に近い値となるので、目的音の強調に用いるには相互相関係数の大きさに従って統合スペクトル信号に与える利得を制御すればよい。
【００６２】
目的音の成分が強調されたスペクトル信号２０５は、必要に応じて逆変換部２０６によって周波数分析部２０１とは逆の変換、すなわち周波数領域から時間領域への変換が施されることにより、目的音の成分が強調された出力音声信号２０７が生成される。逆変換部２０６は、周波数分析部２０１が例えばＦＦＴの場合、その逆変換である逆ＦＦＴによって実現される。
【００６３】
相互相関係数計算部２０２では、入力音声信号がｘ（ｎ），ｙ（ｎ）の２チャネルの場合、周波数領域での相互相関係数として、次式で表されるρが計算される。
【００６４】
【数７】
2004289762.tif 000009
【００６５】
ここで、Ｗｘｙ（ｆ）は入力音声信号ｘ（ｎ），ｙ（ｎ）間のクロススペクトルであり、Ｗｘｘ（ｆ），Ｗｙｙ（ｆ）は入力音声信号ｘ（ｎ），ｙ（ｎ）のパワースペクトル、Ｌは離散フーリエ変換（ＤＦＴ）における周波数成分の数である。
【００６６】
クロススペクトルとパワースペクトルは、よく知られているように、ｘ（ｎ）の離散フーリエ変換をＸ（ｆ）とし、ｙ（ｎ）の離散フーリエ変換をＹ（ｆ）とすると、
【数８】
2004289762.tif 000010
のように計算できる。ここで、上線を付した値は時間平均値、＊は複素共役である。ＤＦＴの長さは例えば２５６点を使うことができ、この場合Ｌ＝２５６である。Ｌ＝１２８として、得られた複素数の相互相関係数の実部をとっても等価な結果が得られる。
【００６７】
入力音声信号がＭチャネルの場合（２チャネルに限定されない場合）にも、同様に相互相関係数ρは例えば次式で計算される。
【数９】
2004289762.tif 000011
【００６８】
ここで、Ｗｉｊ（ｆ）は入力音声信号ｘｉ（ｎ），ｘｊ（ｎ）間のクロススペクトル、Ｗｉｉ（ｆ）、Ｗｊｊ（ｆ）は入力音声信号ｘｉ（ｎ），ｘｊ（ｎ）のパワースペクトルである。
【００６９】
このようにマイクロホン１０１−１〜１０１−Ｍから得られる複数チャネルの入力音声信号を周波数分析部２０１でスペクトル情報に変換した後、相互相関係数計算部２０２により式（２−１）または（２−２）に従ってチャネル間の相互相関係数ρを計算する。
【００７０】
一方、周波数分析部２０１で得られる複数チャネルのスペクトル情報を信号統合部２０３で１チャネルに統合して統合スペクトル信号Ｚ（ｆ）を求める。信号統合部２０３で単純な加算を用いる場合は、
【数１０】
2004289762.tif 000012
として、統合スペクトル信号Ｚ（ｆ）を得ることができる。
【００７１】
適応ビームフォーマを用いる場合は、例えば、よく知られている２チャネルのＪｉｍ−Ｇｒｉｆｆｉｔｈビームフォーマを使った場合、次式のように統合スペクトル信号Ｚ（ｆ）が求まる。
【数１１】
2004289762.tif 000013
【００７２】
ここで、ｋはフレーム番号、Ｕはチャネル間の差分スペクトル、Ｄは加算スペクトル、Ｚは出力スペクトル、Ｗは複素数のフィルタ係数、μはステップサイズ、（＊）は複素共役である。
【００７３】
次に、相互相関係数ρに基づき利得制御部２０４の利得を制御し、信号統合部２０３からの統合スペクトル信号の大きさ（振幅）を利得制御部２０４で調整することによって、目的音の成分が強調されたスペクトル信号２０５を生成する。利得制御部２０４での利得制御に関しては、例えば相互相関係数ρを統合スペクトル信号の振幅に乗算することにより行うことができるが、第１の実施形態と同様に例えば図２（Ａ）（Ｂ）（Ｃ）に示すような関数を用いて行うことも可能である。相互相関係数ρは負になる場合もあるが、その場合は、絶対値かまたは０と置いて利得制御に用いることも可能である。
【００７４】
図７に、本実施形態における処理の流れを示す。音声信号入力ステップＳ２１の後に周波数分析ステップＳ２２が加わったこと以外、処理の流れは第１の実施形態と基本的に同様である。すなわち、ステップＳ２２で周波数分析（例えば、ＦＦＴ）を行った後に、相互相関係数の計算（ステップＳ２３）、スペクトル情報の統合（ステップＳ２４）及び相関係数による統合スペクトル信号に対する利得制御（ステップＳ２５）を順次行って、目的音の成分が強調されたスペクトル信号を生成し、最後に必要に応じてステップＳ２６で逆変換（例えば、逆ＦＦＴ）を行って目的音の成分が強調された出力音声信号を得る。ステップＳ２１〜Ｓ２６の処理は、ディジタル化された音声信号がステップＳ２１においてフレーム単位で入力される毎に繰り返し行われる。
【００７５】
このように本実施形態によれば、相関の少ない雑音が抑圧され、相関の大きい目的音の音声が強調されたスペクトル信号あるいは出力音声信号を得ることが可能となる他、相関係数の計算と信号統合の処理を周波数領域で行うことにより、相関係数の計算と信号統合の処理を時間領域で行う第１の実施形態に比較して、演算量を少なくできるという利点がある。
【００７６】
（第３の実施形態）
図８に、本発明の第３の実施形態に係る音声信号処理装置の構成を示す。本実施形態は、重み付き相互相関係数を用いて目的信号（目的音の信号）の活性度を算出する手法を提供する。こうして算出される目的信号活性度は、例えば目的音の検出や目的音の強調に有効に用いられる。
【００７７】
本実施形態では、第１の実施形態と同様に、まず複数のマイクロホン１０１−１〜１０１−Ｍからの複数チャネルの入力音声信号が周波数分析部２０１により周波数領域の信号、すなわち複数の周波数成分を含むスペクトル情報に変換された後、目的信号活性度計算部３００に入力される。目的信号活性度計算部３００は、クロス・パワースペクトル計算部３０１、コヒーレンス関数計算部３０２、パワー情報計算部３０３、修正スペクトル計算部３０４及び重み付き相互相関関数計算部３０５を有する。
【００７８】
クロス・パワースペクトル計算部３０１では、複数チャネルの周波数成分から各チャネルのパワースペクトルとチャネル間のクロススペクトルが算出される。コヒーレンス関数計算部３０２では、パワースペクトルとクロススペクトルからコヒーレンス関数が算出される。パワー計算部３０３では、パワースペクトルから入力音声信号のチャネル間の信号パワーに関するパワー情報が算出される。修正スペクトル計算部３０４では、パワースペクトルとクロススペクトルに対してコヒーレンス関数とパワー情報を用いて修正が加えられる。重み付き相互相関関数計算部３０４では、修正スペクトル計算部３０４で修正されたスペクトルに従って重み付けられた相互相関係数が目的信号活性度として計算される。
【００７９】
次に、図９を用いて本実施形態における処理の流れを説明する。音声信号入力ステップＳ３１から周波数分析ステップＳ３２までは第２の実施形態と同様であり、複数チャネルの入力音声信号をフレーム単位で周波数領域の信号（スペクトル情報）に変換する。
【００８０】
次に、周波数分析で得られたスペクトル情報から各チャネルのパワースペクトルとチャネル間のクロススペクトルを計算する（ステップＳ３３）。次に、パワースペクトルとチャネル間のクロススペクトルを用いてコヒーレンス関数とパワー情報を計算する（ステップＳ３４〜Ｓ３５）次に、コヒーレンス関数とパワー情報に基づいて修正されたスペクトルを計算する（ステップＳ３６）。この修正後のスペクトルに基づいて重み付き相互相関係数を計算し、これを目的信号活性度として出力する（ステップＳ３７）。ステップＳ３１〜Ｓ３７の処理は、ディジタル化された音声信号がステップＳ３１においてフレーム単位で入力される毎に繰り返し行われる。
【００８１】
本実施形態は、耐雑音性を高めるように相互相関係数に修正を加える点が特徴である。一般的な相互相関係数は、雑音がチャネル間で無相関な場合の目的音検出には高い性能を示すものの、チャネル間で相関のある雑音が到来している場合と目的音が到来している場合を区別する性能は低い。本実施形態によると、相関のある雑音が到来する場合においても、目的音と雑音とを区別する性能を大幅に高めることができる。
【００８２】
通常、耳障りな大振幅の雑音はチャネル間で高い相関があるので、本実施形態で示す方法は、これを抑圧するのに好適である。出力である目的信号活性度は、入力音声に目的音が存在するか否かの尺度を示すものであり、これは以降の実施形態の音声検出や音声強調などで必要となる必須の要素である。
【００８３】
次に、クロス・パワースペクトル計算部３０１、コヒーレンス関数計算部３０２、パワー情報計算部３０３、修正スペクトル計算部３０４及び重み付き相互相関係数計算部３０４での具体的な計算方法について述べる。まず、クロス・パワースペクトル計算部３０１では、式（２−２）に従ってチャネル間のクロススペクトルとチャネル毎のパワースペクトルが計算される。次に、コヒーレンス関数計算部３０２では、入力音声信号がｘ，ｙの２チャネルの場合、次式に従ってコヒーレンス関数γ（ｆ）が計算される。
【数１２】
2004289762.tif 000014
【００８４】
ここで、Ｗｘｙ（ｆ）は二つのチャネル間のクロススペクトル、Ｗｘｘ（ｆ）及びＷｙｙ（ｆ）は各チャネルのパワースペクトルである。
【００８５】
入力音声信号がＭチャネルの場合（２チャネルに限定されない場合）、第ｉチャネルと第ｊチャネル間のコヒーレンス関数γｉｊ（ｆ）は、同様に次式に従って計算される。
【数１３】
2004289762.tif 000015
【００８６】
ここで、Ｗｉｊ（ｆ）は第ｉチャネルと第ｊチャネル間のクロススペクトル、Ｗｉｉ（ｆ）及びＷｊｊ（ｆ）は、第ｉチャネル及び第ｊチャネルのパワースペクトルである。
【００８７】
Ｍチャネルの場合のトータルのコヒーレンス関数γｍ（ｆ）は、例えば次式のように計算される。
【数１４】
2004289762.tif 000016
【００８８】
パワー情報計算部３０３では、入力音声信号がｘ，ｙの２チャネルの場合、次式に従ってパワー情報ｐ（ｆ）が計算される。
【数１５】
2004289762.tif 000017
【００８９】
ここで、ｍｉｎ［ａ，ｂ］  はａ，ｂのうちで小さい方を選択することを意味し、ｍａｘ［ａ，ｂ］  は、ａ，ｂのうちで大きい方を選択することを意味する。
【００９０】
一方、入力音声信号がＭチャネルの場合（２チャネルに限定されない場合）、第ｉチャネルと第ｊチャネル間のパワー情報はｐｉｊ（ｆ）は、次式に従って計算される。
【数１６】
2004289762.tif 000018
【００９１】
このようにして計算されるパワー情報ｐ（ｆ），ｐｉｊ（ｆ）に対して、次式のように適当な関数を用いて実際のチャネル間のパワー比に対する鋭敏性を調整することも可能である。
【数１７】
2004289762.tif 000019
【００９２】
ここで、ｐｏｗ｛ａ，ｂ｝はａのｂ乗を表す指数関数である。β＝１のとき、式（３−６），（３−７）はそれぞれ式（３−４），（３−５）と同じであり、βを１より大きい値とすることで、パワー比に対する鋭敏性を増すことが可能である。
【００９３】
修正スペクトル計算部３０４では、入力音声信号が２チャネルの場合、各チャネルのパワースペクトルとチャネル間のクロススペクトルに対して、先に算出されたコヒーレンス関数γ（ｆ）を２乗した値である２乗コヒーレンス関数γ２（ｆ）とパワー情報ｐ（ｆ）を用いて修正が加えられたクロススペクトル及びパワースペクトルが計算される。さらに、重み付き相互相関係数計算部３０５では、修正後のクロススペクトル及びパワースペクトルに従って重み付けられた重み付き相互相関係数ρ（目的信号活性度）が計算される。
【００９４】
これら修正スペクトル計算部３０４及び重み付き相互相関係数計算部３０５での計算は、次式で示される。
【数１８】
2004289762.tif 000020
【００９５】
ここで、Ψａ（ｆ），Ψｂ（ｆ）は、各々相互相関係数の計算式（３−１０）の分母、分子に用いる重み関数であり、Ｗｘｙ（ｆ）Ψｂ（ｆ）は修正後のクロススペクトル、Ｗｘｘ（ｆ）Ψａ（ｆ），Ｗｙｙ（ｆ）Ψａ（ｆ）は修正後のパワースペクトルである。
【００９６】
なお、コヒーレンス関数を用いた式（３−８）または（３−９）の重み関数以外にも、単純なクロススペクトル白色化の重み１／｜Ｗｘｙ（ｆ）｜を用いて
【数１９】
2004289762.tif 000021
などとすることも可能であるが、性能としては式（３−８）または（３−９）の重み関数を使うことが望ましい。
【００９７】
一方、入力音声信号がＭチャネルの場合（２チャネルに限定されない場合）、同様に各チャネルのパワースペクトルとチャネル間のクロススペクトルに対して、先に算出された第ｉチャネルと第ｊチャネル間のコヒーレンス関数γｉｊ（ｆ）を２乗した値である２乗コヒーレンス関数γｉｊ２（ｆ）とパワー情報ｐｉｊ（ｆ）を用いて修正が加えられたクロススペクトル及びパワースペクトルが計算される。
【００９８】
さらに、重み付き相互相関係数計算部３０５では、修正後のクロススペクトル及びパワースペクトルに従って重み付けられた重み付き相互相関係数ρ（目的信号活性度）が計算される。この場合の修正スペクトル計算部３０４及び重み付き相互相関係数計算部３０５での計算は、次式で示される。
【数２０】
2004289762.tif 000022
【００９９】
ここで、Ψａｉｊ（ｆ），Ψｂｉｊ（ｆ）は、各々相互相関係数の計算式（３−１３）の分母、分子に用いる重み関数であり、ｉ，ｊはチャネルの番号を表す。また、ｐｉｊ（ｆ）は式（３−５）または式（３−７）のパワー情報である。また、Ｋ＝Ｍ（ｍ−１）／２である。
【０１００】
Ψａ（ｆ）は、一般化相互相関関数（ｇｅｎｅｒａｌｉｚｅｄ  ｃｒｏｓｓ  ｃｏｒｒｅｌａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）を最尤推定する際に使われる重み関数として知られており、チャネル間で無相関な雑音の影響を抑圧するのに効果がある。これに関しては、例えば非特許文献６：“Ｔｈｅ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｔｉｍｅ  Ｄｅｌａｙ，  Ｃ．  Ｈ．  Ｋｎａｐｐ  ａｎｄ  Ｇ．  Ｃ．  Ｃａｒｔｅｒ，  ＩＥＥＥ  Ｔｒａｎｓ，  Ａｃｏｕｓｔ．，  Ｓｐｅｅｃｈ，  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ”，  Ｖｏｌ．ＡＳＳＰ−２４，  Ｎｏ．４，ｐｐ．３２０−３２７（１９７６）に詳述されている。なお、文献６は相互相関関数を求める方法を開示するものであり、相互相関係数については触れていない。
これに対して、本実施形態では重み付き相互相関係数として、上述の重み関数Ψａ（ｆ）にさらにチャネル間のパワーの比に基づいた重みを与える式（３−６）または式（３−７）によって修正したΨｂ（ｆ）を用いる点が大きく異なる。
【０１０１】
上記の処理では、チャネル間で無相関な雑音に加え、目的方向以外から到来する相関のある雑音までも効果的に抑圧するため、得られた重み付き相互相関係数は、目的信号が存在するか否かの程度を精度よく反映している。このため、重み付き相互相関係数の値を目的信号活性度として用いることができる。この目的信号活性度は、音声検出や音声強調など、種々の応用でその性能を向上するキーコンポーネントとして使用できる。
【０１０２】
本実施形態における目的信号活性度の測定において、活性度を帯域毎に分けて出力してもよい、例えば、ＤＦＴの１から１２８点を周波数上で等間隔に８帯域、つまり、１２８／８＝１６点ずつに分け、８個の目的信号活性度を出力するようにする。分割の仕方は必要に応じて変えて差し支えない。このことは以下の実施形態においても同様である。
【０１０３】
上述の説明では、コヒーレンス関数とパワー情報の両方を使って目的信号活性度を計算しているが、パワー情報を使わず、コヒーレンス関数のみを用いて目的信号活性度を計算しても、ある程度の効果がある。その場合、式（３−４）〜（３−７）によって計算されるパワー情報ｐ（ｆ）またはｐｉｊ（ｆ）を１と置けばよい。
【０１０４】
（第４の実施形態）
図１０に、本発明の第４の実施形態に係る音声信号処理装置の構成を示す。本実施形態では、第３の実施形態を音声検出に適用し、目的信号活性度に対して閾値処理を行うことにより、入力音声信号から目的音の成分を検出する。
【０１０５】
複数のマイクロホン１０１−１〜１０１−Ｍからの入力音声信号が周波数分析部２０１により周波数領域の信号、すなわち複数チャネルの周波数成分を含むスペクトル情報に変換された後、目的信号活性度計算部３００に入力される。目的信号活性度計算部３００の構成は、第３の実施形態で説明した通りである。
【０１０６】
目的信号活性度計算部３００から出力される目的信号活性度信号３０６は検出処理部４０１に入力され、ここで閾値処理が行われることにより、入力音声信号に目的音が存在しているかどうかを示す目的音検出ステータス信号４０２が出力される。具体的には、検出処理部４０１は入力音声信号に目的音の成分が存在すると判定した場合には“１”を、存在しないと判定した場合には“０”を目的音検出ステータス信号４０２として出力する。
【０１０７】
図１１を用いて本実施形態における処理の流れを説明すると、まずステップＳ４１で入力された入力音声信号を周波数分析し（ステップＳ４２）、得られたスペクトル情報から第３の実施形態で述べた手順により目的信号活性度を計算する（ステップＳ４３）。最後に、目的信号活性度に対して、目的に応じて予め定められた閾値を用いて閾値処理を行うことにより、入力音声信号に目的音の成分が存在しているかどうかの検出処理を行う（ステップＳ４４）。ステップＳ４１〜Ｓ４４の処理は、ディジタル化された音声信号がステップＳ４１においてフレーム単位で入力される毎に繰り返し行われる。
【０１０８】
次に、図１２を用いて検出処理部４０１における閾値処理の手順を説明する。ここでは、目的音のない区間の目的信号活性度のバイアスと分散から、検出のための閾値を設定する例について示す。
まず、初期設定を行い（ステップＳ４００）、次いで音声信号の入力（ステップＳ４０１）、周波数分析（ステップＳ４０２）及び目的信号活性度の計算（ステップＳ４０３）をフレーム毎に順次行う。
【０１０９】
第ｋフレームの目的信号活性度をρ（ｋ）とすると、ρ（ｋ）について目的音の無い区間（無音区間という）のバイアスと分散を推定する。無音区間か否かの暫定的な判定を｜ρ（ｋ）−ｂ（ｋ−１）｜とκとの比較により行う（ステップＳ４０４）。ここで、ｂ（ｋ）はρ（ｋ）のバイアスの推定値、κは判定のための閾値である。
【０１１０】
ここで、｜ρ（ｋ）−ｂ（ｋ−１）｜＜κの場合は、無音の可能性が高いと判断し、１次のローパスフィルタを用いて次式に示されるようにバイアスｂ（ｋ）と分散ｖ（ｋ）の推定値を更新する（ステップＳ４０５）。
【数２１】
2004289762.tif 000023
【０１１１】
一方、｜ρ（ｋ）−ｂ（ｋ−１）｜＞κの場合は、目的音が存在する可能性が高いと判断し、次式に示されるように、バイアスｂ（ｋ）と分散ｖ（ｋ）の推定値を更新しない（ステップＳ４０６）。
【数２２】
2004289762.tif 000024
【０１１２】
次に、次式によって検出のための閾値ｈ（ｋ）を設定する（ステップＳ４０７）。
【数２３】
2004289762.tif 000025
【０１１３】
ここで、ξは検出閾値ｈ（ｋ）を設定するための定数である。この結果、ｈ（ｋ）＜ρ（ｋ）ならば目的信号が存在するとして“１”を、そうでなければ“０”をそれぞれ目的ステータス信号として出力する（ステップＳ４０８）。
初期設定に必要なκ，η，η’，ξの値の例は、初期設定ステップＳ４００の枠内に示した通りである。
【０１１４】
図１３に、検出処理の具体的な例を示す。図１３（Ａ）に示す曲線ρから、図１３（Ｂ）に示す検出ステータス信号の時系列が出力される。目的信号活性度の計算は、第３の実施形態で述べたようにチャネル間で相関のない雑音と相関があっても目的音とは違う方向から到来する雑音とを抑圧し、目的音だけに精度よく反応する。従って、算出される目的信号活性度を本実施形態のような音声検出のパラメータとして用いた場合、高い検出性能を達成できる。
【０１１５】
（第５の実施形態）
図１４に、本発明の第５の実施形態に係る音声信号処理装置の構成を示す。本実施形態は、第３の実施形態を音声強調に適用したものである。複数のマイクロホン１０１−１〜１０１−Ｍからの入力音声信号が周波数分析部２０１により周波数領域の信号、すなわち複数チャネルの周波数成分を含むスペクトル情報に変換された後、目的信号活性度計算部３００に入力される。目的信号活性度計算部３００の構成は、第３の実施形態で説明した通りである。
【０１１６】
一方、第２の実施形態と同様に周波数分析部２０１からのスペクトル情報は信号統合部２０３にも入力され、ここで１チャネルの統合されることにより、統合スペクトル信号が生成される。信号統合部２０３から出力される統合スペクトル信号は、目的信号活性度計算部３００から出力される目的信号活性度信号（相互相関係数）３０６に従って利得が制御される利得制御部５０１に入力され、その大きさが調整される。これにより、利得制御部５０１から目的音の成分が強調されたスペクトル信号５０２が出力される。
【０１１７】
目的音の成分が強調されたスペクトル信号５０２は、必要に応じて逆変換部５０３によって周波数分析部２０１とは逆の変換、すなわち周波数領域から時間領域への変換が施され、目的音の成分が強調された出力音声信号５０４が生成される。逆変換部５０２は、周波数分析部２０１が例えばＦＦＴの場合、逆ＦＦＴによって実現される。
このように本実施形態に係る音声信号処理装置は、図６に示した第２の実施形態における相互相関係数計算部２０２が重み付き相互相関係数を計算する目的信号活性度計算部３００に変更された構成となっている。
【０１１８】
次に、図１１を用いて本実施形態における処理の流れを説明すると、まずステップＳ５１からステップＳ５３までの処理は、第４の実施形態で説明した図１１中に示すステップＳ４１からステップＳ４３までの処理と同様である。ステップＳ５２の周波数分析の後、ステップＳ５３の目的信号活性度の計算と平行して、複数チャネルのスペクトル情報を１チャネルに統合して統合スペクトル信号を生成する処理を行う（ステップＳ５４）
次に、統合スペクトル信号に対して、ステップＳ５３で得られた目的信号活性度に応じた利得制御を行って振幅を調整することにより、目的音の成分が強調されたスペクトル信号を生成し（ステップＳ５５）、最後に必要に応じてステップＳ５６で逆変換（例えば、逆ＦＦＴ）を行って目的音の成分が強調された出力音声信号を得る。ステップＳ５１〜Ｓ５６の処理は、ディジタル化された音声信号がステップＳ５１においてフレーム単位で入力される毎に繰り返し行われる。
【０１１９】
本実施形態によると、第３の実施形態で説明したように、目的信号活性度が入力音声に目的音があるか否かを高精度に反映するので、これを用いて目的音を強調する音声強調を行うことによって、種々の雑音環境において非常に高い性能の処理を実現できる。
【０１２０】
なお、第３の実施形態の中で、目的信号活性度を複数の周波数帯域に分けて求めてもよいと述べたが、本実施形態の利得制御の処理において、このような複数の周波数帯域に関する目的信号活性度を用いて、帯域毎に利得を制御することも可能である。すなわち、目的信号活性度計算の際に用いた帯域毎に統合信号、例えばスペクトル情報の算出にＬ点のＤＦＴを用い、帯域分割数をＢとする場合、Ｌ／２／Ｂ＝Ｎ点ずつを用いて以下のように目的活性度を計算する。
【０１２１】
【数２４】
2004289762.tif 000026
【０１２２】
ここで、ρ（ｂ）は帯域番号ｂに関する目的信号活性度であり、帯域ｂの計算で用いる周波数成分の範囲をｓ（ｂ），ｅ（ｂ）と置いている。この値は、例えば以下のようにとる。
【数２５】
2004289762.tif 000027
【０１２３】
これは、ＤＦＴにおいて周波数成分番号ｆが２からＬ／２の正の周波数に相当する成分と、ｆがＬ／２＋１からＬの負の周波数に相当する成分の番号の一般的な規則性を用いて求められる。ここで、ｆ＝１は直流成分に相当し、一般的な波形信号の場合、その成分は０と置いてよいので、上の計算式では除いてある。また、ｆ＝Ｌ／２の成分は利用可能な周波数の上限であり、その大きさはやはり０に近いので、除いてある。勿論、これらを計算に含めることにしても、何ら問題はない。
【０１２４】
このようにして求められた目的信号活性度ρ（ｂ）を用いると、統合信号に対する利得制御は、以下のようにして行うことができる。
【数２６】
2004289762.tif 000028
【０１２５】
先に述べたと同様、上式のように目的信号活性度ρ（ｂ）の絶対値を用いてもよいし、ρ（ｂ）の実数部をとって負の場合は０と置いた値を用いて、以下のようにしてもよい。
【０１２６】
【数２７】
2004289762.tif 000029
【０１２７】
以上の方法により、目的音の成分を強調する際の利得制御を帯域毎に行うことができる。これにより、ある帯域に偏って雑音が存在する場合などに、その帯域のみ抑圧することが可能となるので、目的音成分強調の性能を向上させることができる。
【０１２８】
（第６の実施形態）
図１６に、本発明の第６の実施形態に係る音声信号処理装置の構成を示す。本実施形態は、第５の実施形態にコヒーレンスとパワー情報に基づいたフィルタ演算を行うコヒーレンスフィルタ演算部６０１が加わった構成である。
【０１２９】
次に、図１７を用いて本実施形態における処理の流れについて述べる。まずステップＳ６１からステップＳ６４までの処理は、第５の実施形態の図１１中に示すステップＳ５１からステップ５４までの処理と同様である。本実施形態では、ステップＳ５４で得られた統合スペクトル信号に対して、ステップＳ６４の目的信号活性度計算の仮定で生成されるコヒーレンス関数とパワー情報を用いたフィルタ演算を行う。
【０１３０】
こうしてコヒーレンスフィルタ演算が施された統合スペクトル信号に対して、ステップＳ６３で得られた目的信号活性度に応じた利得制御を行って振幅を調整することにより目的音の成分が強調されたスペクトル信号を生成し（ステップＳ６５）、最後に必要に応じてステップＳ６６で逆変換（例えば、逆ＦＦＴ）を行って、目的音の成分が強調された出力音声信号を得る。ステップＳ６１〜Ｓ６６の処理は、ディジタル化された音声信号がステップＳ６１においてフレーム単位で入力される毎に繰り返し行われる。
【０１３１】
次に、コヒーレンスフィルタ演算部６０１について詳しく述べる。コヒーレンスフィルタ演算部６０１では、目的信号活性度計算部３００で計算されるコヒーレンス関数を用いて対象のスペクトル情報をフィルタリングする。コヒーレンス関数は、式（３−１）または式（３−２）を用いて計算される。このとき、目的信号活性度計算部３００で内部的に得られた式（３−４）〜（３−７）のいずれかのパワー情報に従って、次式のようにコヒーレンス関数を修正して用いると、さらに効果的である。
【０１３２】
入力音声信号がｘ（ｆ），ｙ（ｆ）の２チャネルの場合の修正コヒーレンス関数γ（ｆ）は、次式に示される。
【数２８】
2004289762.tif 000030
【０１３３】
一方、Ｍチャネルの場合（２チャネルに限定されない場合）の修正コヒーレンス関数γ（ｆ）は、次式に示される。
【数２９】
2004289762.tif 000031
【０１３４】
ここで、第３の実施形態と同様にｉ，ｊはチャネル番号、Ｗｉｊ（ｆ）は第ｉチャネルと第ｊチャネル間のクロススペクトル、Ｗｉｉ（ｆ），Ｗｊｊ（ｆ）は第ｉチャネル及び第ｊチャネルのパワースペクトルである。
【０１３５】
式（６−１）または式（６−２）に示される修正コヒーレンス関数γ（ｆ）を用いたフィルタ演算は、次式に従って行われる。
【数３０】
2004289762.tif 000032
【０１３６】
ここで、ＺＯ（ｆ）はフィルタ演算の出力、Ｚ（ｆ）は信号統合部２０３で得られる統合スペクトル信号である。
【０１３７】
このとき、例えば次式のようにコヒーレンス関数γ（ｆ）を適当な関数を用いて修正してから、フィルタ演算を行ってもよい。
【数３１】
2004289762.tif 000033
【０１３８】
ここで、ｐｏｗ（ａ，ｂ）は、ａのｂ乗を表す指数関数であり、例えばα＝２などを用いることがある。この場合、式（６−３）（α＝１に相当する）よりもコヒーレンス関数γ（ｆ）の値が強調され、雑音抑圧量が増加するが、代わりに目的音声の歪みも大きくなるので、状況に合わせて設定するのがよい。
【０１３９】
このように本実施形態によれば、目的信号活性度を用いた目的音の強調に際して、コヒーレンス関数に対応したスペクトルの重み付けを行うことにより、チャネル間で無相関な雑音に対する音声強調性能をさらに改善することができる。
【０１４０】
（マイクロホンの配置について）
次に、これまでに述べたマイクロホンの好ましい配置方法について述べる。音声信号処理装置は、複数のマイクロホンに対して目的音に関しては同一の成分が入射し、雑音に関しては位相と振幅の少なくとも一方の異なった成分が入射することを想定している。このようなマイクロホンの受音状況を実現するためには、マイクロホン１０１−１〜１０１−Ｍを以下に述べるように配置することが望ましい。
【０１４１】
第３の実施形態では、重み付き相互相関係数を計算する過程で、チャネル間のパワー比に関する情報を用いており、目的音に対してはチャネル間で等パワー、雑音に対してはチャネル間で異なるパワーとなるようにマイクロホン１０１−１〜１０１−Ｍを配置したときに、高い性能が得られる。マイクロホン１０１−１〜１０１−Ｍに全て無指向性のマイクロホンを用いた場合でも、ある程度の性能は発揮できる。これは受音位置によって反射などの条件が異なるため、無指向性マイクロホンでも到来音のパワーが異なる場合があるからである。
【０１４２】
しかしながら、高い性能を安定して発揮させるには、マイクロホン１０１−１〜１０１−Ｍの少なくとも一つを指向性マイクロホンとする方がよい。これにより、目的音の到来方向以外の方向に対してチャネル間で感度差を作り出し、雑音抑圧性能を向上することができる。
【０１４３】
ここでは、マイクロホンの数Ｍが２個、すなわち２チャネルの場合について述べるが、３以上の多チャネルの場合にも容易に拡張可能である。図１８に示すように、２個のマイクロホンの一方が無指向性マイクロホン７０１で、他方が指向性マイクロホン７０２の場合と、図１９に示すように２個のマイクロホン７１１，７１２がいずれも指向性マイクロホンの場合について述べる。各々特徴のある使い分けが可能である。指向性マイクロホンとしては、通常の単一指向性マイクロホンを想定する。単一指向性以外のもっと鋭い指向性のものを使う場合は、さらに性能が高くなる可能性があるが、配置方法は単一指向性マイクロホンを用いた場合と同様である。
【０１４４】
図１８に示すように無指向性マイクロホン７０１と指向性マイクロホン７０２を用いた場合、指向性マイクロホン７０２は、目的音の方向に指向性の頂点（感度最大方向）が向くようにする。マイクロホン７０１，７０２間の距離は、例えば５ｃｍから２０ｃｍ程度が適当である。この配置においては、無指向性マイクロホン７０１の感度と指向性マイクロホン７０２の頂点方向の感度を同程度に調整しておくことが望ましい。
【０１４５】
このような配置により、指向性マイクロホン７０２における低感度の方向、例えば、図１８に示すように高感度の方向と１８０°逆の方向に関しては、チャネル間、すなわちマイクロホン７０１，７０２間の感度差が非常に大きいので、低感度の方向からの到来音の抑圧量は非常に大きくなる。一見、これは指向性マイクロホンの元々の指向性を表したにすぎないように見えるが、チャネル間のパワー比に対する鋭敏性を式（３−６）または式（３−７）のβの値によって調整できるため、指向性マイクロホン７０２の元々の指向性よりも鋭い指向性に調整することが可能である。
【０１４６】
すなわち、例えばβ＝２とすることにより、実際のパワー比の２乗の重みが目的信号活性度の計算に使われることになる。実際のパワー比は、目的音方向に関しては１であるが、目的音の到来方向以外の方向では１以下であるため、これを２乗することによって目的音以外の成分に関する重みはさらに小さくなる。このため、低感度方向と目的音方向の間の横方向などの感度もさらに小さくできる。
【０１４７】
一方、図１９に示すように２つのマイクロホンに指向性マイクロホン７１１，７１２を用いた場合は、例えば図１９（Ａ１）〜（Ａ４）に示す配置が有効である。これは、同一平面上に二つのマイクロホン７１１，７１２の指向性の軸が含まれるような配置であり、図で上から見たときの指向性の軸の向きがθ＝−９０°〜９０°程度の範囲内にあるのが望ましい。θ＞０の場合は指向性の軸が２つのマイクロホン７１１，７１２の中点から外に開くような形となるが、θ＜０としても同様な性能であり、この場合は指向性の軸が中点に向かう形となる。
【０１４８】
図１９（Ｂ１）〜（Ｂ４）は、２つの指向性マイクロホン７１１，７１２のもう一つの好ましい配置の例である。指向性の軸は同一平面内に含まれていない。正確さを期すため、図２０に図１９（Ｂ１）〜（Ｂ４）の配置における指向性の軸の向きを方位角θと仰角φで表した図を示す。ここで、Ｒチャネルのマイクロホン７１２の指向性の軸の向きを（θ，φ）とすると、Ｌチャネルのマイクロホン７１１の指向性の軸の向きは（−θ，−φ）となるようにするのが望ましい。すなわち、２つのマイクロホンの位置と軸方向は１８０°の回転対称をなす。マイクロホンの数がＭならば、３６０°／Ｍの回転対称となる配置が望ましい。θとφの範囲は、１０°＜θ＜８０°，１０°＜φ＜８０°となるようにするのが望ましい。指向性の軸の向きを上のように設定した後、２つのマイクロホン７１１，７１２の位置を目的音の到来方向を軸として回転させた場合も全く同じ特性を有するので、必要に応じて回転させて用いてもよい。
【０１４９】
図１９（Ａ１）〜（Ａ４）の配置の場合、前述した音声信号処理により最終的な指向性は、目的音の到来方向に対しては感度最大となり、指向性マイクロホン７１１，７１２から等距離の方向、すなわち、２つのマイクロホン７１１，７１２を結ぶ直線に垂直な方向に対しては感度が極大となるため、真上や真下からの到来音に対してもある程度の感度を持つようになる。
【０１５０】
これに対し、図１９（Ｂ１）〜（Ｂ４）の配置では、２つの指向性マイクロホン７１１，７１２の位相が一致する方向は、図１９（Ａ１）〜（Ａ４）の場合と同様に、マイクロホン７１１，７１２から等距離の方向、すなわち２つのマイクロホン７１１，７１２を結ぶ直線に垂直な面（図２１の面ａ）に含まれる方向となる。一方、２つのマイクロホン７１１，７１２の感度が一致するような到来方向は、マイクロホン７１１，７１２の軸の向きを表す２つのベクトルを１つの平面上に平行移動したとき、その２つのベクトルの差ベクトル（図２１のベクトルＣ）と垂直の平面（図２１の面ｂ）に含まれる。
【０１５１】
本実施形態における目的信号活性度は、位相と振幅がチャネル間で共に一致した場合に大きな値となるので、図２１に示す面ａと面ｂが交わる方向、すなわち正面方向（図２０または図２１において矢印で示した目的音の到来方向）とその１８０°逆の方向にのみ、指向性の大きな極大ができる。正面の逆方向に関しては、指向性マイクロホン７１１，７１２の低感度方向が向いているため、その方向からの入射音のレベルは低い。従って、実質的に正面方向のみに極大のメインローブを持つような指向性を得ることができるので、真上や真下からの到来音も抑圧したい場合には、この配置が有効である。
【０１５２】
（第８の実施形態）
図２２に、本発明の第８の実施形態に係る音声信号処理装置の構成を示す。本実施形態は、第３の実施形態における周波数分析部２０１と目的信号活性度計算部３００との間にスペクトル補正部８００を挿入した構成になっている。図２３に示されるように、スペクトル補正部８００は適応フィルタ８０１と補正フィルタ８０２を有する。
【０１５３】
前述したように、本発明の実施形態に係る音声信号処理装置は、目的音に関しては同一の成分が複数のマイクロホン１０１−１〜１０１−Ｍに入射することを想定している。従って、マイクロホン１０１−１〜１０１−Ｍの感度が経年変化やバイアス設定用のバッテリの消耗などによって変化した場合、処理精度が低下する可能性がある。目的音の到来方向が想定している方向とずれた場合にも、処理精度が低下する可能性がある。
【０１５４】
本実施形態では、マイクロホン１０１−１〜１０１−Ｍ毎の感度の違いや目的音の到来方向のずれを補正して、本来の性能を発揮させるために、スペクトル補正部８００により、周波数分析部２０１で得られたスペクトル情報に対して、目的信号活性度計算部３００で得られた目的信号活性度とスペクトル情報とに基づく修正を施す。
【０１５５】
次に、図２３を用いてスペクトル補正部８００での処理の詳細を述べる。ここでは、入力音声信号が２チャネルの場合について述べるが、Ｍチャネルへの拡張も同様である。スペクトルの補正は、チャネル間の差を適応フィルタ８０１により同定し、一方のチャネルのスペクトルに対して補正フィルタ８０２を用いて、適応フィルタ８０１により同定した差分を補正することにより行う。適応フィルタ８０１による差分同定の際、目的信号活性度信号３０６に従ってフィルタ更新の速さを制御するようにするようにしてもよい。
【０１５６】
適応フィルタ８０１としては、例えば、周波数領域のＬＭＳ適応フィルタを使用することが可能である。この場合、周波数領域ＬＭＳ適応フィルタの計算は、以下のように行われる。
【数３２】
2004289762.tif 000034
【０１５７】
ここで、ｋはフレーム番号、Ｘは第１チャネルのスペクトル、Ｙは第２チャネルのスペクトル、Ｅは誤差スペクトル、Ｗは複素数のフィルタ係数、μはステップサイズ、（＊）は複素共役である。
【０１５８】
補正フィルタ８０２の演算は、この場合、第１チャネルのスペクトルＸ（ｋ，ｆ）に対し、Ｘ′（ｋ，ｆ）＝Ｗ（ｋ，ｆ）Ｘ（ｋ，ｆ）により行う。Ｘ′（ｋ，ｆ）は、補正後の第１チャネルのスペクトルである。この演算は、適応フィルタ８０１の演算の式（８−１）で既に行われているので、新たに補正フィルタ８０２を用意せず、適応フィルタ８０１からＷ（ｋ，ｆ）Ｘ（ｋ，ｆ）の信号を取り出すだけでもよい。
【０１５９】
目的信号活性度ρ（ｋ）を用いて適応フィルタ８０１による差分同定の際のフィルタ更新の速さを制御することも可能であり、その場合は例えば、次式のように適応フィルタ８０１の更新式（８−２）を修正する。
【０１６０】
【数３３】
2004289762.tif 000035
【０１６１】
ここで、閾値ｈとしては例えば０．５を使うことができる。これは、ρ（ｋ）の大きさが閾値より大きいときだけチャネル間の差分を求めることになるので、目的音が到来している可能性の大きいときのみフィルタ更新が行われ、雑音に適応してしまう心配がない。このような閾値を用いた適応の更新／停止の制御の他、次式のように更新分の大きさをρ（ｋ）に比例させることも可能である。
【数３４】
2004289762.tif 000036
【０１６２】
式（８−３）を使ってチャネル間の差分を推定した場合、例えば、感度差が始めから大きく異なっている場合などは、ρ（ｋ）の値が閾値を上回らないため、適応フィルタ８０１の更新が行われず、差分が全く求まらないこともある。しかしながら、前述したようにマイクロホンの感度が経年変化やバイアス設定用のバッテリの消耗などによって変化したことを想定した場合、感度差が急に大きくなることは少なくこのような不都合はあまり問題にならない。本実施形態は、例えば第３〜第６の実施形態で説明した音声信号処理における目的信号活性度を求める際の補正方法として用いることで、チャネル間の感度の差に影響を受けない動作が可能となる。
【０１６３】
（第９の実施形態）
図２４に、本発明の第９の実施形態に係る音声信号処理装置の構成を示す。第８の実施形態と同様に、スペクトル補正部９００が設けられ、さらに補正フィルタ学習指示部９１０が追加されている。
【０１６４】
第８の実施形態で示した感度補正は、マイクロホン１０１−１〜１０１−Ｍの感度が大きくは違わない場合に効果があった。第９の実施形態では、目的音の振幅または位相が各マイクロホンで同一であると想定できないような場合に、学習モードの処理を設け、第８の実施形態とは別の補正フィルタの学習を行ってチャネル間の差を補正する。
【０１６５】
学習後の経年変化による感度ずれや、目的話者位置の小さなずれによる位相差などを補正する場合は、学習モードを経て学習したフィルタによる補正の後、第８の実施形態で述べたような自動的な補正を行う。本実施形態は、このような二つの補正ができる構成になっている。
【０１６６】
目的音方向が想定している方向と異なる場合や、各マイクロホン１０１−１〜１０１−Ｍと目的音源との距離が異なるようなマイクロホン配置にした場合などでも、本実施形態の音声処理方法を利用可能になる。学習モードは、利用者の指示をトリガとして開始したり、装置の起動後などに装置側が自動的に学習モードに入る場合などがある。
【０１６７】
補正フィルタ学習指示部９１０は、学習モードであるか否かを表す信号を出力する。例えば、学習モードは“１”、学習モードでなければ“０”を出力する。学習モードの終了は、装置側が自動的に行ってもよいし、利用者が指示するようにしてもよい。学習モードにおいては、入力したい目的音の位置からテスト音を発生させる。利用者が発声してもよいし、スピーカなどのテスト音発生装置を目的音位置に置いて使用してもよい。テスト音は使用目的に応じて選択してよい。音声入力が目的なら音声や白色雑音を使うのが望ましい。
【０１６８】
図２５に示されるように、補正フィルタ学習指示部９１０はスイッチ９１１により利用者の指示が入力されると、一定期間を学習モードとするように、指示入力後からの経過時間をタイマ９１２で測定して、補正フィルタ学習指示信号Ｓを出力する。タイマ９１２は補正フィルタ学習指示信号Ｓとして、スイッチ９１１による指示入力時点から予め定めた時間までは例えば“１”を出力し、その他の期間は“０”を出力する。タイマ９１２は、大抵のマイクロプロセッサに備わっている機能であるので、それを使えばよい。学習モードの終了は、このように装置側がタイマ９１２を用いて自動的に行ってもよいし、利用者が指示するようにしてもよい。
【０１６９】
スペクトル補正部９００は、補正フィルタ学習指示部９１０からの指示に従って一定時間長の期間、例えば３秒間にわたって学習を行う。この期間を学習モードと呼ぶことにする。学習モードにおいては、入力したい目的音の位置からテスト音を発生させる。利用者が発声してもよいし、スピーカなどのテスト音発生装置を目的音位置に置いて使用してもよい。テスト音は使用目的に応じて選択してよい。音声入力が目的なら音声や白色雑音を使うのが望ましい。学習モードの終了後は、続けて第８の実施形態までに述べたような音声信号処理を行う。
【０１７０】
スペクトル補正部９００の構成は、第８の実施形態におけるスペクトル補正部８００の図２３に示した構成と若干異なり、図２６に示されるように図２３の補正フィルタ８０２に相当する補正フィルタ９０２に加えて、補正フィルタ９０２の前段にもう一つの補正フィルタ９０１が追加されている。補正フィルタ９０２は、第８の実施形態で説明したと同様の働きをする。すなわち、チャネル間の小さなずれを補正する。
【０１７１】
一方、追加された補正フィルタ９０１は、チャネル間の大きな差を補正する。補正フィルタ９０１は、学習モード以外は固定される。補正フィルタ学習指示部９１０からの学習フィルタ指示信号Ｓが“１”の場合、適応フィルタ９０４は補正フィルタ９０１を学習させ、学習フィルタ指示信号Ｓが“０”の場合は補正フィルタ９０２を学習させる。
【０１７２】
例えば、ＬＭＳを用いた補正フィルタ９０２の学習は次式により行われる。
【数３５】
2004289762.tif 000037
【０１７３】
一方、補正フィルタ９０１の学習は、次式により行われる。
【数３６】
2004289762.tif 000038
【０１７４】
ここで、ｋはフレーム番号、Ｘは第１チャネルのスペクトル、Ｙは第２チャネルのスペクトル、Ｘ１はＸに補正フィルタ９０１をかけた後のスペクトル、Ｗ０は補正フィルタ９０２のフィルタ係数、Ｅ０は補正フィルタ９０２の学習の際の誤差スペクトル、μ０は補正フィルタ９０２の学習の際のステップサイズ、Ｗ１は補正フィルタ１のフィルタ係数、Ｅ１は補正フィルタ９０１の学習の際の誤差スペクトル、μ１は補正フィルタ９０１の学習の際のステップサイズ、（＊）は複素共役である。ステップサイズμ０，μ１には、例えば０．１を使う。
【０１７５】
式（９−１），（９−２）の補正フィルタ９０２の学習を行う際、第８の実施形態のように目的信号活性度を用いて適応の速度を制御してよい。補正フィルタ９０１のフィルタリングは、
【数３７】
2004289762.tif 000039
により行われ、補正フィルタ９０２のフィルタリングは
【数３８】
2004289762.tif 000040
ここで、Ｘ′（ｋ，ｆ）は、スペクトル補正部９００の出力となる第１チャネルのスペクトルである。
【０１７６】
次に、図２７を用いて本実施形態の処理の流れを説明する。
まず、初期設定として補正フィルタ９０１，９０２の係数の初期値を設定する（ステップＳ９０）。補正フィルタ９０１を補正フィルタ１、補正フィルタ９０２を補正フィルタ０とすると、補正フィルタ１，０の係数の初期値を全ての周波数（ｆ）で（１，０）としておけば、学習をしない場合でも音声信号の入力が可能となるので扱いやすい。ここで、（１，０）は複素数の１＋ｊ０を表す。ただし、補正フィルタ１，０の係数の初期値を全ての周波数（ｆ）で（０，０）とした場合でも、学習さえ進めば動作するようになるので、初期値をどのように選ぶかは本質的な違いはない。
【０１７７】
次に、補正フィルタ学習指示信号Ｓが“１”か否か（“０”）を調べ（ステップＳ９１）、Ｓ＝“１”であれば補正フィルタ１の学習を式（９−３）（９−４）に従って行う（ステップＳ９３）。一方、Ｓ＝“０”であれば補正フィルタ１によるフィルタリングを式（９−５）に従って行い（ステップＳ９４）、次に補正フィルタ０の学習を式（９−１）（９−２）に従って行った後、補正フィルタ０によるフィルタリングを行い（ステップＳ９３〜Ｓ９４）、この後に目的信号活性度を測定する（ステップＳ９６）。ステップＳ９１からステップＳ９６までの処理は、ディジタル化された音声信号がステップＳ９１においてフレーム単位で入力される毎に繰り返し行われる。
【０１７８】
本実施形態によれば、例えばマイクロホン１０１−１〜１０１−Ｍを目的音源の位置に対して距離が異なるように並べた場合にも、目的信号活性度の計算、目的音の検出及び目的音の強調などの処理を有効に行うことが可能となる。
【０１７９】
自動車内で観測される走行雑音の環境下で用いる場合、走行雑音は拡散性が強いため、マイクロホンを異なった位置や向きに置いた場合でもチャネル間の振幅の差があまりない。各マイクロホンと目的音位置との距離が異なるように並べた場合は、本実施形態のスペクトル補正によって、チャネル間で目的音が同振幅、同位相となるように補正される。一方で、等振幅だった雑音成分は補正により異なった振幅となり、目的信号活性度における雑音区間の区別が容易になり、活性度測定の精度が向上する。このように、マイクロホンを目的音から等距離に並べない場合は、拡散性雑音下での性能向上を図ることができる。
【０１８０】
（第１０の実施形態）
図２８に、本発明の第１０の実施形態に係る音声信号処理装置の構成を示す。本実施形態は、修正相互相関係数に基づいて音源の到来方向を推定する技術に関する。音源の到来方向の推定は、音声強調や雑音源の同定など音声処理における種々の応用において重要である。特に、本実施形態に係る修正相互相関係数に基づく方法は、適応ビームフォーマなどの死角制御に基づく方法に比べて雑音源の信号や伝播状況に関する制約が少なく、広範囲の雑音環境で使用可能であるという利点がある。
【０１８１】
本実施形態に係る音声信号処理装置は、図２８に示すようにマイクロホン１０１−１〜１０１−Ｍからの複数（Ｍ）チャネルの入力音声信号を周波数分析して周波数成分であるスペクトル情報に変換する周波数分析部２０１と、該スペクトル情報から音源方向を推定する音源方向推定部１０００からなる。音声分析部２０１の処理は、第２の実施形態（図６）で説明した通りである。
【０１８２】
音源方向推定部１０００は、クロス・パワースペクトル計算部１００１、コヒーレンス関数計算部１００２、補正係数発生部１００３、クロス・パワースペクトル補正部１００４、パワー情報計算部１００５、仮想方向相関係数計算部１００６及び音源方向検出部１００７を有する。以下、音源方向推定部１０００の各構成要素について説明する。
【０１８３】
クロス・パワースペクトル計算部１００１は、周波数分析部２０１により得られたスペクトル情報から各チャネルのパワースペクトルとチャネル間のクロススペクトルを計算する。
【０１８４】
コヒーレンス関数計算部１００２は、クロス・パワースペクトル計算部１００１で得られたクロススペクトルと各チャネルのパワースペクトルから入力音声信号のチャネル間のコヒーレンス関数を算出する。
【０１８５】
補正係数発生部１００３は、予め設定した信号の到来方向範囲の中に、信号の仮想的な到来方向である仮想方向を定め、この仮想方向から信号が到来したと仮定した場合に、入力音声信号のスペクトル情報中の当該信号成分がチャネル間で一致するようにスペクトル情報を補正するための補正係数を発生する。
【０１８６】
クロス・パワースペクトル補正部１００４は、発生した補正係数を用いてクロススペクトルとパワースペクトルを補正し、補正クロススペクトルと補正パワースペクトルを生成する。
【０１８７】
パワー情報計算部１００５は、補正クロススペクトルと補正パワースペクトルに基づいて入力音声信号のチャネル間の周波数毎の信号パワー比であるパワー情報を算出する。
【０１８８】
仮想方向相関係数計算部１００６は、補正パワースペクトルと補正クロススペクトルを先のコヒーレンス関数とパワー情報に基づいて重み付けし、予め設定した１組の仮想方向に対応した相互相関係数を仮想方向毎に算出する。
【０１８９】
音源方向検出部１００７は、仮想方向相関係数計算部１００６によって計算された仮想方向毎の相互相関係数に基づき音源方向を検出して出力すると同時に、検出した音源方向における相互相関係数の値を音源相関係数として、また音源方向に対応した補正係数を音源方向補正係数として出力する。
【０１９０】
次に、各部の処理についてさらに詳しく説明する。クロス・パワースペクトル計算部１００１、コヒーレンス関数計算部１００２及びパワー情報計算１００５での計算には、例えば入力音声信号のチャネル数Ｍが２チャネルの場合は式（３−８），（３−９），（３−１０）を用い、３チャネル以上の場合は式（３−１２），（３−１３），（３−１４）を用いる。
【０１９１】
補正係数発生部１００３は、予め信号が到来する範囲を例えば図２９に示すように設定する。到来方向は、水平方向の角度である方位角θと垂直方向の角度である仰角φの組（θ，φ）で表すものとし、例えば到来範囲の中の格子点上の方向を仮想方向とするものとする。図２９の場合、到来範囲は方位角、仰角共に−４０°〜４０°、格子点は方位角、仰角共に５°おきであり、全ての格子点上の方向を仮想方向の組とする。図２９では、作図の都合上格子点の間隔を５°にしてあるが、実際はもっと小さく、２°以下にすることが望ましい。
【０１９２】
格子点上の仮想方向は、ｄｈ，ｇ＝（θｈ，φｇ）で表すことにする。ここでｈは格子点の方位角に関する番号、ｇは仰角の番号である。補正係数発生部１００３は、仮想方向に対応する補正係数を次式に従って生成する。
【０１９３】
【数３９】
2004289762.tif 000041
【０１９４】
ここで、ｉはチャネル番号、Ｈｉ（ｆ，θ，φ）は（θ，φ）方向に関するｉ番目のチャネルの補正係数、τｉ（θ，φ）は、ｉ番目のマイクロホンに（θ，φ）方向からの到来信号が到達するときの基準マイクロホンでの受音信号に対する伝播遅れ時間、Ｄｉ（θ，φ）は、ｉ番目のマイクロホンにおける（θ，φ）方向の感度の指向性、ｆは周波数番号、Ｆはサンプリング周波数、ＬはＦＦＴの点数である。基準マイクロホンは、例えば１番目のマイクロホンとする。
【０１９５】
伝搬遅延の値は、例えば図３０に示すようなマイクロホン配置において、到来音の方向がｄ＝（θ，φ）の場合、基準位置を座標の原点にとると、原点に対する時間遅れは、極座標と直交座標の関係を用いて以下のように計算できる。
【０１９６】
【数４０】
2004289762.tif 000042
【０１９７】
ここで、・は内積、ｃは音速である。マイクロホンｉの位置が  Ａｉ＝（ｘｉ，  ｙｉ，  ｚｉ）のときは、次式となる。
【０１９８】
【数４１】
2004289762.tif 000043
【０１９９】
Ｄｉ（θ，φ）は、マイクロホン固有の特性であるので、製品情報から得るか、または測定により得る。マイクロホン感度の指向性の測定は、例えばマイクロホンへの音の入射角度を変えながら出力を測定すればよく、一般的な方法を用いればよいので、ここでは省略する。
【０２００】
補正係数発生部１００３で発生する補正係数は、音源方向探索の範囲とマイクロホン１０１−１〜１０１−Ｍの指向性が変化しなければ変化しないので、最初に係数を発生した後はテーブルに記憶しておき、格子点の番号でテーブルを参照して係数の値を読み出すようにする。
【０２０１】
クロス・パワースペクトル補正部１００４では、補正係数発生部１００３で発生した補正係数を対応するチャネルのクロススペクトルとパワースペクトルに乗じて補正クロススペクトルと補正パワースペクトルを求める。計算は、次式のように行う。
【０２０２】
【数４２】
2004289762.tif 000044
【０２０３】
ここでＷ′は補正後のスペクトル、＊は複素共役、ｉ，ｊはチャネルの番号であり、ｉ≠ｊのときはクロススペクトル、ｉ＝ｊのときはパワースペクトルを意味する。
【０２０４】
式（１０−４）の補正は、スペクトル情報Ｘｉ（ｆ）をＨｉ（ｆ，θ，φ）で補正してからクロス・パワースペクトルを計算することと等価であり、上線を付した処理を時間平均化処理として、Ｈｉは時間に対して変化しないことを使うと、以下のようになることに基づいている。
【数４３】
2004289762.tif 000045
【０２０５】
パワー情報計算部１００５では、クロス・パワースペクトル補正部１００４で補正したパワースペクトルからチャネル間のパワー比を求めることにより行う。パワー比の計算は、式（３−７）において元々のパワースペクトルＷｉｉ（ｆ）  の代わりに、次式のように補正したものを使う。
【０２０６】
【数４４】
2004289762.tif 000046
【０２０７】
仮想方向相互相関係数計算部１００６では、補正したクロス・パワースペクトルとパワー情報を用い、仮想方向（θ，φ）に関する相互相関係数を計算する。相互相関係数の計算は、式（３−１１），（３−１２），（３−１３）において、元々のクロス・パワースペクトルとパワー情報を次式のように各々の補正したものに置き換えればよい。
【０２０８】
【数４５】
2004289762.tif 000047
【０２０９】
ここで、Ｋは
【数４６】
2004289762.tif 000048
であり、和における周波数ｆの範囲Ｌ１，Ｌ２は目的音の帯域に相当する範囲に相当する番号になるようにする。例えば、目的音の帯域を２６０Ｈｚから４ｋＨｚであると定めた場合には、ＦＦＴ長２５６、サンプリング１１ｋＨｚの場合には、Ｌ１＝６，Ｌ２＝９２とするのがよい。
【０２１０】
式（１０−６）〜（１０−１０）を用い、θ＝θｈｇ，φ＝φｈｇとし、設定した到来範囲の仮想方向ｄ（θｈｇ，φｈｇ）（ｈ＝１〜Ｎｈ，  ｇ＝１〜Ｎｇ）に対して仮想方向相関係数を求める。
【０２１１】
音源方向検出部１００７は、仮想方向相互相関係数計算部１００６によって計算された仮想方向毎の相関係数から、そのピークを検出して音源方向として出力する。このとき、例えば次式のように仮想方向相関係数の時間的な平均化によって安定化を図ることができる。
【０２１２】
【数４７】
2004289762.tif 000049
【０２１３】
ここで、ρ’ｋ  はｋ番目のフレームの処理において平均化された仮想方向相関係数、ρｋ  はｋ番目のフレームの処理において求められた仮想方向相関係数、ηは学習定数であり、例えばη＝０．０５などを用いる。ピークの検出は、ρ’ｋ（θ，φ）  から最大値を求めればよい。
【０２１４】
音源方向検出部１００７は、音源方向の他、音源方向のピークの値である音源相関係数と、音源方向に相当する補正係数である音源方向補正係数を出力する。このために、補正係数発生部１００３の内部の補正係数のテーブルから、音源方向の格子点の番号に基づいて補正係数を取り出すようにする。
【０２１５】
次に、図３１を用いて本実施形態における処理の流れを説明する。
まず、初期設定として音源方向の範囲を設定する（ステップＳ１００）。次に補正係数の生成（ステップＳ１０１）、マイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ１０２）、周波数分析（ステップＳ１０３）、クロススペクトルとパワースペクトルの計算（ステップＳ１０４）及びコヒーレンス関数の計算（ステップＳ１０５）を順次行う。次に、スペクトル補正（ステップＳ１０６）、パワー情報の計算（ステップＳ１０７）及び仮想方向相互相関関数の計算（ステップＳ１０８）を全ての仮想方向について繰り返し行い、最後に音源方向の検出を行う（ステップＳ１０９）。ステップＳ１０２〜Ｓ１０９の処理は、ディジタル化された音声信号がステップＳ１０２においてフレーム単位で入力される毎に繰り返し行われる。
【０２１６】
（第１１の実施形態）
本発明の音声強調処理は、マイクロホン配列の正面から目的とする音である目的音が到来すると仮定しているので、目的音の方向が仮定とずれた場合は、性能が低下する可能性がある。第８の実施形態で述べた適応処理に基づいた補正により、目的音の方向ずれへの対処がある程度は可能であるが、目的音の方向が大きくずれた場合には適応処理だけでは対処が困難である。そこで、本実施形態では第１０の実施形態で説明した音源方向推定処理の結果を用いて目的音の方向を追尾することにより、目的音が想定している方向とずれた場合に対する音声強調処理の安定度を向上させる。
【０２１７】
図３２に、本実施形態に係る音声信号処理装置の構成を示す。本実施形態は、第１０の実施形態で説明した音源方向推定処理で音源方向を推定し、音源方向に対応する補正係数を用いて入力のスペクトル情報の補正を行い、補正したスペクトル情報を統合し、統合スペクトル情報に対して利得制御を行って音声強調を行う。
【０２１８】
このような処理を実現するため、本実施形態に係る音声信号処理装置は第１０の実施形態で説明した音源方向推定部１０００、周波数分析部２０１からの複数チャネルのスペクトル情報を音源方向補正係数に基づいて補正するスペクトル情報補正部１１００、補正したスペクトル情報を統合する信号統合部１１０１、統合スペクトル情報をコヒーレンス関数に基づいてフィルタリングするコヒーレンスフィルタ演算部１１０２、及びコヒーレンスでフィルタリングしたスペクトル情報をさらに音源相関係数に基づいて利得制御することにより雑音を抑圧する利得制御部１１０３を有する。
【０２１９】
周波数分析部２０１と音源方向推定部１０００は、第１０の実施形態で述べた通りである。スペクトル補正部１１００では、音源方向推定部から出力される音源方向補正係数を用いて複数チャネルのスペクトル情報を補正する。このスペクトル情報の補正は、音源方向からの到来音に対して相関係数を最大化する働きがある。音源方向を（θｏ，φｏ）、音源相関係数をρ（θｏ，φｏ）、音源方向補正係数をＨｉ（ｋ，θｏ，φｏ）とすれば、スペクトル情報の補正は
【数４８】
2004289762.tif 000050
に従って行われる。ここでｉはチャネル番号、Ｘ’ｉ（ｋ）は補正後のスペクトル情報、Ｘｉ（ｋ）は補正前のスペクトル情報である。
【０２２０】
以降は、補正スペクトル情報Ｘ’ｉ（ｋ）  を用いて信号統合部１１０１で１チャネルのスペクトル情報に統合し、この統合スペクトル情報に対してコヒーレンスフィルタ演算と利得制御を行えばよい。利得制御のための利得としては、前述したようにρ（θｏ，φｏ）を使う。これ以降の処理は、第１０の実施形態と同様であるので省略する。
【０２２１】
次に、図３３を用いて本実施形態における処理の流れを説明する。
まず、初期設定として音源方向範囲を設定し、かつ第１０の実施形態で説明したように補正係数を発生する（ステップＳ２００）。次に、マイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ２０１）、周波数分析（ステップＳ２０２）、音源方向の推定（ステップＳ２０３）、スペクトル情報の補正（ステップＳ２０４）、スペクトル情報の統合（ステップＳ２０５）、コヒーレンス関数の演算（ステップＳ２０６）及び利得制御の処理（ステップＳ２０７）をディジタル化された音声信号がステップＳ２０１においてフレーム単位で入力される毎に繰り返し行う。
【０２２２】
（第１２の実施形態）
次に、本発明の第１２の実施形態について説明する。これまでに述べてきた修正相互相関係数の計算においては、式（３−１３）に示したように、相互相関の正規化の際に入力スペクトル情報のパワーの幾何平均を用いていたが、本実施形態では幾何平均の代わりに入力スペクトル情報を統合して得られる統合スペクトル情報のパワーを用いる場合について述べる。
【０２２３】
複数チャネルの信号をビームフォーマなどによって統合する際には、ビームフォーマの働きによって方向性の雑音などが抑圧されている場合がある。このような場合、相互相関または修正相互相関係数による利得制御においては、既に抑圧されている分を考慮して軽めに利得制御した方がよい。本実施形態で説明する利得係数を用いると、抑圧された分が考慮されて利得制御が適正化できる。
【０２２４】
本実施形態に係る音声信号処理装置は、図３４に示すように空間的に離れて配置された複数のマイクロホン１０１−０〜１０１−Ｍから出力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部２０１と、複数のスペクトル情報から目的音の活性度に相当する値である利得係数を計算する修正利得係数計算部２０００Ａとからなる。
【０２２５】
修正利得係数計算部２０００Ａは、クロス・パワースペクトル計算部２００１、コヒーレンス関数計算部２００２、パワー情報計算部２００３、信号統合部２００４、統合信号パワースペクトル計算部２００５及び利得係数計算部２００６からなる。
【０２２６】
クロス・パワースペクトル計算部２００１は、スペクトル情報から入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する。
【０２２７】
コヒーレンス関数計算部２００２は、複数チャネル間のクロススペクトルと各チャネルのパワースペクトルからコヒーレンス関数を算出する。
【０２２８】
パワー情報計算部２００３は、複数チャネルのパワースペクトルから入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する。
【０２２９】
信号統合部２００４は、複数のスペクトル情報を統合して１チャネルの統合スペクトル情報を生成する。
【０２３０】
統合信号パワースペクトル計算部２００５は、統合スペクトル情報のパワースペクトルを計算する。
【０２３１】
利得係数計算部２００６は、クロススペクトルをコヒーレンス関数とパワー情報に基づいて重み付けし、重み付けたクロススペクトルをさらに統合信号パワースペクトルに基づいて正規化して得られる利得係数を計算する。
【０２３２】
周波数分析部２０１、クロス・パワースペクトル計算部２００１、コヒーレンス関数計算部２００２、パワー情報計算部２００３及び信号統合部２００４は第１０の実施形態と同様であるため、説明を省略する。
【０２３３】
統合信号パワースペクトル計算部２００５では、統合スペクトル情報のパワースペクトルが計算される。例えば、統合スペクトル情報をＺ（ｆ）として、統合処理が２チャネルの信号の加算平均Ｚ（ｆ）＝｛Ｘ１（ｆ）＋Ｘ２（ｆ）｝／２であったとすると、Ｚ（ｆ）のパワースペクトルは、
【数４９】
2004289762.tif 000051
で求められる。Ｚ（ｆ）が異なる係数を持つビームフォーマから得られる統合信号であったとしても、同様である。
【０２３４】
利得係数計算部２００６で計算される利得係数σは、相互相関係数の代わりに利得制御に用いる係数であり、Ｍ＝２の場合は次式により計算できる。
【数５０】
2004289762.tif 000052
【０２３５】
なお、式（１２−２），（１２−３）はそれぞれ式（３−１２），（３−１３）と同じである。以上の計算により得られる利得係数σは、Ｗｚｚのパワーにおいて既に抑圧された雑音の分が除かれているので、利得を過小に計算する可能性が低くなり、性能を改善できる可能性がある。利得係数計算部２００６は、パワー比とコヒーレンス関数で重み付けた利得係数であるという意味の修正利得係数σを出力する。
【０２３６】
次に、図３５を用いて本実施形態における処理の流れについて説明する。マイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ３０１）及び周波数分析（ステップＳ３０２）の後、修正理作係数計算部２０００Ａにおいてクロススペクトルとパワースペクトルの計算（ステップＳ３０３）、、パワー情報の計算（ステップＳ３０４）、コヒーレンス関数の計算（ステップＳ３０５）、信号統合（スペクトル情報の統合）（ステップＳ３０６）、統合スペクトル情報（統合信号）のパワースペクトルの計算（ステップＳ３０７）及び修正利得係数の計算（Ｓ３０８）をディジタル化された音声信号がステップＳ３０１においてフレーム単位で入力される毎に繰り返し行う。
【０２３７】
（第１３の実施形態）
図３６に、本発明の第１３の実施形態に係る音声信号処理装置の構成を示す。本実施形態は式（１２−３）においてパワー情報ｐｉｊ（ｆ）を全て１とおいて、パワー情報を用いないようにした例であり、修正利得係数計算部２０００Ｂでは図３４中に示したパワー情報計算部２００３が除去されている。
【０２３８】
（第１４の実施形態）
次に、本発明の第１４の実施形態として、第１２の実施形態で求めた利得係数に基づいて雑音を抑圧し、目的音声を強調する音声強調処理装置について説明する。
【０２３９】
本実施形態に係る音声信号処理装置は、図３６に示すように空間的に離れて配置された複数のマイクロホン１０１−０〜１０１−Ｍから出力される複数チャネルの入力音声信号を周波数分析してＭチャネルのスペクトル情報を生成する周波数分析部２０１及びスペクトル情報から目的音の活性度に相当する値である利得係数を計算する図３４に示した修正利得係数計算部２０００Ａに加えて、利得制御部２１０１及びコヒーレンスフィルタ演算部２１０２を有する。
【０２４０】
利得制御部２１０１は、修正利得係数計算部２０００Ａで計算した利得係数に基づいて、修正利得係数計算部２０００Ａ内の信号統合部２００４で得られた統合スペクトル情報に対して利得の制御を行う。コヒーレンスフィルタ演算部２１０２は、修正利得係数計算部２０００Ａ内のコヒーレンス関数計算部２００２で得られたコヒーレンス関数に基づいて、利得制御部２１０１から出力されるスペクトル情報をフィルタリングする。
【０２４１】
次に、図３８を用いて本実施形態における処理の流れを説明する。
マイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ４０１）及び周波数分析（ステップＳ４０２）の後、修正利得係数計算部２０００Ａにおいてクロススペクトル及びパワースペクトルの計算（ステップＳ４０３）、パワー情報の計算（ステップＳ４０４）、コヒーレンス関数の計算（ステップＳ４０５）、スペクトル情報の統合（ステップＳ４０６）、統合スペクトル情報のパワースペクトルの計算（ステップＳ４０７）及び利得係数の計算（ステップＳ４０８）を行う。次に、計算された利得係数に基づく利得制御処理（ステップＳ４０９）とコヒーレンスフィルタ演算の処理（ステップＳ４１０）を行う。以上のステップＳ４０１〜Ｓ４１０の処理をディジタル化された音声信号がステップＳ４０１においてフレーム単位で入力される毎に繰り返し行う。
【０２４２】
（第１５の実施形態）
図３９に、本発明の第１５の実施形態に係る音声信号処理装置の構成を示す。本実施形態は式（１０−６）のパワー情報ｐｉｊ（ｆ）を１とおいて、パワー情報を用いないようにした例であり、修正利得係数計算部２０００Ｂでは図３７中に示したパワー情報計算部２００３が除去されている。
【０２４３】
（第１６の実施形態）
次に、第１２の実施形態で説明した利得係数を用いて音源方向を推定する本発明の第１６の実施形態について説明する。本実施形態に係る音声信号処理装置は、図４０に示すようにマイクロホン１０１−１〜１０１−Ｍからの複数（Ｍ）チャネルの入力音声信号を周波数分析して周波数成分であるスペクトル情報に変換する周波数分析部２０１と、該スペクトル情報から音源方向を推定する音源方向推定部３０００からなる。音声分析部２０１の処理は、第２の実施形態（図６）で説明した通りである。
【０２４４】
音源方向推定部３０００は、クロス・パワースペクトル計算部３００１、コヒーレンス関数計算部３００２、補正係数発生部３００３、クロス・パワースペクトル補正部３００４、パワー情報計算部３００５、仮想統合パワースペクトル計算部３００６、仮想方向利得係数計算部３００７及び音源方向検出部３００８を有する。以下、音源方向推定部３０００の各部について説明する。
【０２４５】
クロス・パワースペクトル計算部３００１は、周波数分析部２０１により得られたスペクトル情報から各チャネルの入力音声信号のチャネル毎のパワースペクトル及びチャネル間のクロススペクトルを算出する。
【０２４６】
コヒーレンス関数計算部３００２は、複数チャネル間のクロススペクトルと各チャネルのパワースペクトルから入力音声信号の複数チャネル間のコヒーレンス関数を算出する。
【０２４７】
補正係数発生部３００３は、信号の仮想的な到来方向である仮想方向から到来する信号がチャネル間で一致するように補正するための係数を複数の仮想方向から成る１組の仮想方向群に対応して発生する。
【０２４８】
クロス・パワースペクトル補正部３００４は、補正係数発生部３００３で発生された補正係数に基づいてクロススペクトルとパワースペクトルを補正し、補正クロススペクトルと補正パワースペクトルを生成する。
【０２４９】
パワー情報計算部３００５は、補正クロススペクトルと補正パワースペクトルに基づいて入力音声信号のチャネル間の信号パワーに関するパワー情報を算出する。
【０２５０】
仮想統合パワースペクトル計算部３００６は、周波数分析部２０１で得られた複数チャネルのスペクトル情報を補正係数発生部３００３で発生された補正係数により補正してから統合して得られる統合スペクトル情報に対するパワースペクトルを、クロス・パワースペクトル補正部３００４で得られた補正クロススペクトルと補正パワースペクトルに基づいて計算する。
【０２５１】
仮想方向利得係数計算部３００７は、クロス・パワースペクトル補正部で得られた補正クロススペクトルに対し、コヒーレンス関数とパワー情報に基づいて重み付けを行い、さらに仮想統合パワースペクトルに基づいて正規化を行った後、１組の仮想方向に対応した利得係数を求める。
【０２５２】
音源方向検出部３００８は、仮想方向利得係数計算部３００７において計算された仮想方向毎の利得係数に基づいて音源方向を検出し出力すると同時に、検出した音源方向に対応した利得係数の値を音源利得係数として、また音源方向に対応した補正係数を音源方向補正係数として出力する。
【０２５３】
ここで、周波数分析部２０１、クロス・パワースペクトル計算部３００１、コヒーレンス関数計算部３００２、補正係数発生部３００３、クロス・パワースペクトル補正部３００４及びパワー情報計算部３００５の処理については、第１０の実施形態に係る相関係数に基づく音源方向推定と同一であるので、詳細な説明を省略する。
【０２５４】
第１２〜第１４の実施形態における利得係数の計算においては、利得係数σの式の分母の値を求める際、複数チャネルのスペクトル情報を統合してそのパワースペクトルを求めている。これに対し、本実施形態ではスペクトル情報の段階での統合は行わず、パワースペクトルとクロススペクトルを補正して、統合信号のパワーを直接求める。これは実際に信号を統合してからパワーを求めるよりも、計算量と記憶領域の点で有利である。すなわち、スペクトル情報を統合してからパワーを求めると、仮想方向毎にパワースペクトル推定のための時間平均化が必要となるが、本実施形態によればこれを避けることが可能である。
【０２５５】
まず、各チャネルのスペクトル情報に補正係数発生部３００３で発生した補正係数を乗じてから信号を統合したと仮定し、その処理式をここでは加算平均とする。このときの統合信号Ｚ（ｆ）は、
【数５１】
2004289762.tif 000053
と表せる。もちろん他の統合方法でもよい。
【０２５６】
このとき、統合信号Ｚ（ｆ）のパワースペクトルは、
【数５２】
2004289762.tif 000054
となる。ここで、式（１６−２）では添え字は省略してある。また、上線は時間平均を表す。従って、クロススペクトルとパワースペクトルを一度求めておけば、後は補正係数を式（１６−２）に従って乗じるだけで、仮想方向（θ，φ）に対応した利得係数σ（θ，φ）の分母の値が求まる。
【０２５７】
仮想方向利得係数計算部３００７では、まずクロス・パワースペクトル補正部３００４で求められた仮想方向に対応した補正クロススペクトル
【数５３】
2004289762.tif 000055
に対し、コヒーレンス関数γ２（ｆ）と補正したパワー情報ｐｉｊ（ｆ，θ，φ）に基づいて重み付けを行う。さらに、仮想方向利得係数計算部３００７では、仮想統合パワースペクトル計算部３００６で求められた仮想的な統合信号パワーＷｚｚ（ｆ，θ，φ）に対し、コヒーレンス関数γ２（ｆ）に基づいて重み付けを行い、先の式（２−３）により仮想方向に対応した利得係数である仮想方向利得係数σ（θ，φ）を求める。
【０２５８】
音源方向検出部３００８の処理は、第１０の実施形態における音源方向推定部１０００７と同様でよい。この場合、音源方向検出部３００８が検出した音源方向に相当する利得係数σ（θｏ，φｏ）を音源方向利得係数と呼ぶことにする。さらに、音源方向検出部３００８は第１０の実施形態１と同様、音源方向（θｏ，φｏ）の他に、音源方向の補正係数Ｈｉ（θｏ，φｏ）を音源方向補正係数として出力する。以上により、利得係数に基づいて音源方向を推定することができる。
【０２５９】
次に、図４１を用いて本実施形態における処理の流れを説明する。
まず、初期設定として音源方向の範囲を設定する（ステップＳ５００）。次に補正係数の生成（ステップＳ５０１）、マイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ５０２）、周波数分析（ステップＳ５０３）、クロススペクトルとパワースペクトルの計算（ステップＳ５０４）及びコヒーレンス関数の計算（ステップＳ５０５）を順次行う。次に、スペクトル補正（ステップＳ５０６）、パワー情報の計算（ステップＳ５０７）、仮想統合パワースペクトルの計算（ステップＳ５０８）及び仮想方向利得係数の計算（ステップＳ５０９）を全ての仮想方向について繰り返し行い、最後に音源方向の検出を行う（ステップＳ５１０）。ステップＳ５０２〜Ｓ５１０の処理は、ディジタル化された音声信号がステップＳ５０２においてフレーム単位で入力される毎に繰り返し行われる。
【０２６０】
（第１７の実施形態）
次に、本発明の第１７の実施形態として、第１６の実施形態で説明した利得係数に基づく音源方向推定処理により推定した音源方向を用い、目的音が移動した場合でもその方向を追尾して音声強調を行うことにより、音声強調を安定に行うことができるようにするための処理について説明する。
【０２６１】
本実施形態の音声信号処理装置は、図４２に示すように周波数分析部２０１、音源方向推定部３０００、周波数分析部２０１からの複数チャネルのスペクトル情報を音源方向補正係数に基づいて補正するスペクトル情報補正部３１００、補正したスペクトル情報を統合する信号統合部３１０１、統合スペクトル情報をコヒーレンス関数に基づいてフィルタリングするコヒーレンスフィルタ演算部３１０２、及びフィルタリングしたスペクトル情報をさらに音源利得係数に基づいて利得制御することにより雑音を抑圧する利得制御部３１０３を有する。
【０２６２】
ここで、周波数分析部２０１、音源方向推定部３０００及びスペクトル情報補正部３１００は第１６の実施形態と同様であり、またコヒーレンスフィルタ演算部３００２は第１１の実施形態と同様である。
【０２６３】
信号統合部３１０１は、音源方向推定部３０００内の図４０に示した仮想統合信号パワースペクトル計算部３００６において行っている仮想統合信号パワースペクトルの計算の際に仮定している信号の統合と同じ統合の式を用いて、補正されたスペクトル情報の統合を行う。すなわち、仮想統合信号パワースペクトル計算部３００６において２チャネルの加算平均を想定していれば、信号統合部３１０１でのスペクトル情報の統合にも加算平均を用いる。この場合、音源方向推定部３０００で得られた音源方向を（θｏ，φｏ）とし、これに対応する補正係数をＨ１（ｆ，θｏ，φｏ），Ｈ２（ｆ，θｏ，φｏ）とする。この場合、音源方向に対応して補正した統合信号Ｚ（ｆ，θｏ，φｏ）は、次式のようになる。
【０２６４】
【数５４】
2004289762.tif 000056
【０２６５】
Ｘ１（ｆ），Ｘ２（ｆ）は、周波数分析部で得られていた各チャネルのスペクトル情報である。
【０２６６】
利得制御部３１０３は、音源方向推定部３０００で推定された音源方向に対応する利得係数σ（θｏ，φｏ）を用い、これに基づいて式（１６−１）に従って補正した統合信号Ｚ（ｆ，θｏ，φｏ）の振幅を制御する。制御の方法としては、単純な比例のほか、第１実施形態で述べた通りの方法を用いればよい。
【０２６７】
次に、図４３を用いて本実施形態における処理の流れを説明する。
まず、初期設定として音源方向の範囲を設定し、さらに補正係数を発生する（ステップＳ６００）。次にマイクロホン１０１−１〜１０１−Ｍからの音声信号の入力（ステップＳ６０１）、周波数分析（ステップＳ６０２）、音源方向の推定（ステップＳ６０３）、スペクトル情報の補正（ステップＳ６０４）、スペクトル情報の統合（ステップＳ６０５）、コヒーレンスフィルタ演算（ステップＳ６０６）及び利得制御（ステップＳ６０７）をディジタル化された音声信号がステップＳ６０１においてフレーム単位で入力される毎に繰り返し行う。
【０２６８】
（第１８の実施形態）
次に、本発明の第１８の実施形態として、適応フィルタを用いて入力音声信号のチャネル間の差を適応的に補正し、目的音の方向が想定とわずかにずれる場合のほか、反射による影響も低減する音声信号処理装置について説明する。第１１の実施形態及び第１７の実施形態で述べた音源方向推定に基づく追尾型の安定化方法は、目的音のずれには効果的であるが、反射などによるチャネル間の信号のずれには効果が小さい。反射の状況は、受音位置により異なることが多いため、チャネル間のずれを生じる原因になる。そこで、本実施形態では適応フィルタを用いた安定化方法を用いる。
【０２６９】
適応フィルタを用いた安定化方法については、既に第８の実施形態において述べている。第８の実施形態では相関係数による目的信号活性度を求める前に、相関係数により適応フィルタを制御してチャネル間の補正を行っている。この場合は、相関係数を求める際の時間遅れがあるため、この遅延よりもゆっくりと変化する外乱要因、すなわちマイクロホンのバイアス電圧変化や経年変化等による感度変化などに効果がある。これに対し、本実施形態は反射波がある場合や頻繁に目的音が動く場合など、入力音声信号のチャネル間のずれの状況の変化が比較的速い場合に効果がある。
【０２７０】
本実施形態に係る音声信号処理装置は、図示しない空間的に離れて配置された複数のマイクロホンと、該マイクロホンから入力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部に加えて、図４４に示すように周波数分析部からの複数チャネルのスペクトル情報を入力として目的信号活性度を推定する安定化目的信号活性度推定部４０００からなる。
【０２７１】
安定化目的信号活性度推定部４０００は、入力音声信号のチャネル間の修正した相互相関係数である第１の修正相互相関係数を計算する第１の修正相互相関係数計算部４００１と、第１の修正相互相関係数に基づき複数チャネルのスペクトル情報の間の差を適応的に補正して補正スペクトル情報を得る適応スペクトル補正部４００２と、補正スペクトル情報から第２の修正相互相関係数を計算する第２の修正相互相関係数計算部４００３からなる。周波数分析部、第１及び第２の修正相互相関係数計算部４００１，４００３は、既に述べたものと同一の処理を行う。
【０２７２】
適応スペクトル補正部４００２は、図４６に示すように周波数分析部で得られた各チャネルのスペクトル情報の間の伝達関数を適応フィルタ４１０３によって同定し、その差分を補正する。このとき第１の修正相互相関係数計算部４００１から出力される修正相互相関係数に基づいて適応フィルタ４１０３を制御し、目的音が到来している間のみ適応フィルタ４１０３を更新することによって雑音への適応を避け、目的音に関する伝達関数のみ推定するようにする。
【０２７３】
第１修正相互相関係数の計算は、クロススペクトルとパワースペクトルを求める際の時間平均に起因する時間遅れがあるので、第１の修正相互相関係数計算部４００１から出力される相関係数は、現時点からその時間遅れ分だけ過去の入力データに基づいて計算されたものである。従って、適応フィルタ４１０３に入力するスペクトル情報と相関係数を同期させるため、遅延回路４１０１，４１０２により相関係数計算と同じだけ遅延させたスペクトル情報を用いるようにする。
【０２７４】
時間遅れの値は、クロス・パワースペクトルの平均化に要する時間長をＴとすると、Ｔ／２である。フレーム数で見ると、平均化フレーム数をＴａとしてＴａが偶数の場合、遅れはＴａ／２フレームであるが、Ｔａが奇数の場合は（Ｔａ−１）／２で計算できる。Ｔａは奇数の方が望ましい。
【０２７５】
適応フィルタ４１０３を用いた演算は、第８の実施形態で既に述べたように例えば周波数領域のＬＭＳ適応フィルタを用いて行い、同定されたフィルタＷ（ｆ）を参照信号に用いたチャネル側のスペクトル情報に乗じて補正する。第２の修正相互相関係数計算部４００３は、適応スペクトル修正部４００２で補正されたスペクトル情報から第２の修正相互相関係数を計算して出力する。
【０２７６】
次に、図４５を用いて本実施形態における処理の流れを説明すると、まず入力音声信号のチャネル間の修正した相互相関係数である第１の修正相互相関係数を計算し（ステップＳ７０１）、これに基づいて各チャネルのスペクトル情報の間の伝達関数の差分を補正することにより適応スペクトルの補正を行い（ステップＳ７０２）、最後に補正された適応スペクトル情報から第２の修正相互相関係数を計算して目的信号活性度として出力する（ステップＳ７０３）。
【０２７７】
本実施形態では、適応の制御とフィルタの更新を同期したデータにより行うため、修正相互相関係数計算を時間遅れを考慮して２回行っている。これにより、状況がすばやく変化する場合にも、雑音の影響を抑えてチャネル間の差を適応的に正確に補正することが可能となる。
【０２７８】
（第１９の実施形態）
第１８の実施形態では、修正相互相関係数計算に関して適応的に安定化させる場合を述べたが、修正相互相関係数の代わりに、第１２の実施形態で述べた利得係数の計算で同様な処理を行うことが可能である。
【０２７９】
本実施形態に係る音声信号処理装置は、図示しない空間的に離れて配置された複数のマイクロホンと、該マイクロホンから入力される複数チャネルの入力音声信号を周波数分析して複数チャネルのスペクトル情報を生成する周波数分析部に加えて、図４５に示すように周波数分析部からの複数チャネルのスペクトル情報を入力として目的信号活性度を推定する安定化目的信号活性度推定部５０００からなる。
【０２８０】
安定化目的信号活性度推定部５０００は、複数チャネルのスペクトル情報から目的音の活性度に相当する値である第１の修正利得係数を計算する第１の修正利得係数計算部５００１と、第１の修正利得係数に基づき複数チャネルのスペクトル情報の間の差を適応的に補正して補正スペクトル情報を得る適応スペクトル補正部５００２と、補正スペクトル情報から第２の修正利得係数を計算する第２の修正利得係数計算部５００３からなる。第１及び第２の修正利得係数計算部５００１，５００３は、第１２の実施形態で述べたものと同一の処理を行う。
【０２８１】
ところで、第１、第２、第４、第６、第１１、第１４及び第１７の各実施形態においては、相関係数または利得係数の算出結果を用いて音声強調処理を行っている。これら第１、第２、第４、第６、第１１、第１４及び第１７の各実施形態においても、図４６で説明した同様に、相関係数または利得係数の計算による時間遅延を考慮して、相関係数または利得係数と入力のスペクトル情報が同期するように、相関係数または利得係数計算時の入力のスペクトル情報を遅延させて処理することが望ましい。この場合の遅延フレーム数は、図４６で説明したと同様に、クロススペクトルとパワースペクトル推定のための時間平均化フレーム数の半分の値に選ばれる。このような遅延処理の導入は自明のことであるため、第１、第２、第４、第６、第１１、第１４及び第１７の各実施形態の説明では省略されている。
【０２８２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０２８３】
【発明の効果】
以上説明したように、本発明によれば突発雑音や拡散性雑音を含む実環境雑音下で雑音を抑圧することが可能となり、雑音環境下において目的音声が到来しているか否かを高精度で検出したり、ハンズフリー通話や音声認識の前処理に好適な音声信号処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る音声信号処理装置の構成を示すブロック図
【図２】同実施形態における統合音声信号に対する利得制御に用いる種々の関数を示す図
【図３】同実施形態における音声信号処理手順を示すフローチャート
【図４】同実施形態におけるマイクロホンの配置例を示す図
【図５】同実施形態に係る信号統合部に適応ビームフォーマを用いた音声信号処理装置の構成を示すフローチャート
【図６】本発明の第２の実施形態に係る音声信号処理装置の構成を示すフローチャート
【図７】同実施形態における音声信号処理手順を示すフローチャート
【図８】本発明の第３の実施形態に係る音声信号処理装置の構成を示すブロック図
【図９】同実施形態における音声信号処理手順を示すフローチャート
【図１０】本発明の第４の実施形態に係る音声信号処理装置の構成を示すブロック図
【図１１】同実施形態における音声信号処理手順を示すフローチャート
【図１２】同実施形態における検出処理手順を示すフローチャート
【図１３】同実施形態における検出処理の具体例を示す図
【図１４】本発明の第５の実施形態に係る音声信号処理装置の構成を示すブロック図
【図１５】同実施形態における音声信号処理手順を示すフローチャート
【図１６】本発明の第６の実施形態に係る音声信号処理装置の構成を示すブロック図
【図１７】同実施形態における音声信号処理手順を示すフローチャート
【図１８】本発明の第７の実施形態に係るマイクロホンの配置例を示す図
【図１９】同実施形態に係るマイクロホンの他の配置例を示す図
【図２０】図１９（Ｂ１）〜（Ｂ４）の配置における到来方向を方位角と仰角を用いて表した図
【図２１】図１９（Ｂ１）〜（Ｂ４）の配置における２つのマイクロホンの位相が一致する到来方向と２つのマイクロホンの感度が一致する到来方向の関係を示す図
【図２２】本発明の第８の実施形態に係る音声信号処理装置の構成を示すブロック図
【図２３】同実施形態におけるスペクトル補正部の構成を示すブロック図
【図２４】本発明の第９の実施形態に係る音声信号処理装置の構成を示すブロック図
【図２５】同実施形態における補正フィルタ学習指示部の構成を示すブロック図
【図２６】同実施形態におけるスペクトル補正部の構成を示すブロック図
【図２７】同実施形態におけるスペクトル補正部の処理手順を示すフローチャート
【図２８】本発明の第１０の実施形態に係る音声信号処理装置の構成を示すブロック図
【図２９】同実施形態における到来方向推定時の仮想点の設定について説明する図
【図３０】同実施形態における伝搬遅延の計算法について説明する図
【図３１】同実施形態における音声信号処理手順を示すフローチャート
【図３２】本発明の第１１の実施形態に係る音声信号処理装置の構成を示すブロック図
【図３３】同実施形態における音声信号処理手順を示すフローチャート
【図３４】本発明の第１２の実施形態に係る音声信号処理装置の構成を示すブロック図
【図３５】同実施形態における音声信号処理手順を示すフローチャート
【図３６】本発明の第１３の実施形態に係る音声信号処理装置の構成を示すブロック図
【図３７】本発明の第１４の実施形態に係る音声信号処理装置の構成を示すブロック図
【図３８】同実施形態における音声信号処理手順を示すフローチャート
【図３９】本発明の第１５の実施形態に係る音声信号処理装置の構成を示すブロック図
【図４０】本発明の第１６の実施形態に係る音声信号処理装置の構成を示すブロック図
【図４１】同実施形態における音声信号処理手順を示すフローチャート
【図４２】本発明の第１７の実施形態に係る音声信号処理装置の構成を示すブロック図
【図４３】同実施形態における音声信号処理手順を示すフローチャート
【図４４】本発明の第１８の実施形態に係る音声信号処理装置の構成を示すブロック図
【図４５】同実施形態における音声信号処理手順を示すフローチャート
【図４６】同実施形態における適応スペクトル補正部の構成を示すブロック図
【図４７】本発明の第１９の実施形態に係る音声信号処理装置の構成を示すブロック図
【符号の説明】
１０１−１〜１０１−Ｍ…マイクロホン
１０２…相互相関係数計算部
１０３…信号統合部
１０４…利得制御部（調整部）
１０６…適応ビームフォーマ
２０１…周波数分析部
２０２…相互相関係数計算部
２０３…信号統合部
２０４…利得制御部（調整部）
３００…目的信号活性度計算部
３０１…クロス・パワースペクトル計算部
３０２…コヒーレンス関数計算部
３０３…パワー情報計算部
３０４…修正スペクトル計算部
３０５…重み付き相互相関係数計算部
４０１…検出処理部（判定部）
５０１…利得制御部（調整部）
６０１…コヒーレンスフィルタ演算部
７０１…無指向性マイクロホン
７０２，７１１，７１２…指向性マイクロホン
８００，９００…スペクトル補正部
８０１，９０４…適応フィルタ
８０２，９０１，９０２…補正フィルタ
９１０…補正フィルタ学習部
【図１】
2004289762.tif 000057
【図２】
2004289762.tif 000058
【図３】
2004289762.tif 000059
【図４】
2004289762.tif 000060
【図５】
2004289762.tif 000061
【図６】
2004289762.tif 000062
【図７】
2004289762.tif 000063
【図８】
2004289762.tif 000064
【図９】
2004289762.tif 000065
【図１０】
2004289762.tif 000066
【図１１】
2004289762.tif 000067
【図１２】
2004289762.tif 000068
【図１３】
2004289762.tif 000069
【図１４】
2004289762.tif 000070
【図１５】
2004289762.tif 000071
【図１６】
2004289762.tif 000072
【図１７】
2004289762.tif 000073
【図１８】
2004289762.tif 000074
【図１９】
2004289762.tif 000075
【図２０】
2004289762.tif 000076
【図２１】
2004289762.tif 000077
【図２２】
2004289762.tif 000078
【図２３】
2004289762.tif 000079
【図２４】
2004289762.tif 000080
【図２５】
2004289762.tif 000081
【図２６】
2004289762.tif 000082
【図２７】
2004289762.tif 000083
【図２８】
2004289762.tif 000084
【図２９】
2004289762.tif 000085
【図３０】
2004289762.tif 000086
【図３１】
2004289762.tif 000087
【図３２】
2004289762.tif 000088
【図３３】
2004289762.tif 000089
【図３４】
2004289762.tif 000090
【図３５】
2004289762.tif 000091
【図３６】
2004289762.tif 000092
【図３７】
2004289762.tif 000093
【図３８】
2004289762.tif 000094
【図３９】
2004289762.tif 000095
【図４０】
2004289762.tif 000096
【図４１】
2004289762.tif 000097
【図４２】
2004289762.tif 000098
【図４３】
2004289762.tif 000099
【図４４】
2004289762.tif 000100
【図４５】
2004289762.tif 000101
【図４６】
2004289762.tif 000102
【図４７】
2004289762.tif 000103