(57)【要約】【課題】１個のマイクロホンアレーで音源との間の距離を識別する。【解決手段】複数のマイクロホンから成る１個のマイクロホンアレーと、複数の周波数領域変換部と、処理対象信号生成部と、直間比推定部と、対象信号調整部と、逆周波数領域変換部とを備え、処理対象信号生成部は、複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する。直間比推定部は、複数の周波数領域変換部の出力する周波数領域の信号を入力として受音信号の直間比に相当する直間比相当値を推定する。対象信号調整部は、処理対象信号と直間比相当値を入力としてその直間比相当比の値に応じて処理対象信号の振幅を調整した処理後信号を生成する。逆周波数領域変換部は、処理後信号を時間領域の信号に変換する。【選択図】図４
2011055211.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンから成る１個のマイクロホンアレーと、
上記複数のマイクロホンで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定部と、
上記処理対象信号と、上記直間比又は直間比相当値を入力としてその値に応じて上記処理対象信号の振幅を調整した処理後信号を生成する対象信号調整部と、
上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
を具備する雑音除去装置。
【請求項２】
請求項１に記載の雑音除去装置において、
上記直間比推定部は、
上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値を出力する固有値展開手段と、
上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出手段と、
を備えることを特徴とする雑音除去装置。
【請求項３】
請求項１に記載の雑音除去装置において、
上記直間比推定部は、
上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーで構成されるベクトルを求め、直接音パワーと残響音パワーを出力する信号パワー推定手段と、
上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出手段と、
を備えることを特徴とする雑音除去装置。
【請求項４】
請求項１に記載の雑音除去装置において、
上記直間比推定部は、
上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値と、その固有値に対応する最大の固有ベクトルとを出力する固有値展開手段と、
上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出手段と、
を備え、
上記処理対象信号生成部は、
上記複数の周波数領域変換部の出力する周波数領域の信号がそれぞれ入力され、上記最大の固有ベクトルの各成分で、上記各周波数領域の信号を重み付けする複数の重み乗算手段と、
上記複数の重み乗算部の出力信号を加算する加算手段と、
を備えることを特徴とする雑音除去装置。
【請求項５】
複数のマイクロホンから成る１個のマイクロホンアレーと、
上記複数のマイクロホンで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定部と、
上記直間比又は直間比相当値を入力として、その値の遠近判定を行い遠近判定結果を出力する遠近判定部と、を備えた遠近判定装置であって、
上記遠近判定部は、
上記直間比又は直間比相当値を、周波数方向に平均して周波数平均直間比相当値を出力する周波数平均手段と、
上記周波数平均直間比相当値を過去所定のフレーム分の時間蓄積して、比較対象直間比相当値を出力する蓄積手段と、
上記周波数平均直間比相当値と、上記比較対象直間比相当値とを比較して遠近判定結果を出力する判定手段と、
を具備する遠近判定装置。
【請求項６】
複数の周波数領域変換部が、１個のマイクロホンアレーを構成する複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
処理対象信号生成部が、上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成過程と、
直間比推定部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定過程と、
対象信号調整部が、上記処理対象信号と、上記直間比又は直間比相当値を入力としてその値に応じて上記処理対象信号の振幅を調整した処理後信号を生成する対象信号調整過程と、
逆周波数領域変換部が、上記処理後信号を時間領域の信号に変換する逆周波数領域変換過程と、
を含む雑音除去方法。
【請求項７】
請求項６に記載の雑音除去方法において、
上記直間比推定過程は、
空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
固有値展開手段が、上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値を出力する固有値展開ステップと、
固有値分布算出手段が、上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出ステップと、
を含むことを特徴とする雑音除去方法。
【請求項８】
請求項６に記載の雑音除去方法において、
上記直間比推定過程は、
空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
信号パワー推定手段が、予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーで構成されるベクトルを求め、直接音パワーと残響音パワーを出力する信号パワー推定ステップと、
直間比算出手段が、上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出ステップと、
を含むことを特徴とする雑音除去方法。
【請求項９】
請求項６に記載の雑音除去方法において、
上記直間比推定過程は、
空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
固有値展開手段が、上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値と、その固有値に対応する最大の固有ベクトルとを出力する固有値展開ステップと、
固有値分布算出手段が、上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出ステップと、
を含み、
上記処理対象信号調整過程は、
乗算手段が、上記複数の周波数領域変換部の出力する周波数領域の信号がそれぞれ入力され、上記最大の固有ベクトルの各成分で、上記各周波数領域の信号を重み付けする複数の重み乗算ステップと、
加算手段が、上記複数の重み乗算部の出力信号を加算する加算ステップと、
を含むことを特徴とする雑音除去方法。
【請求項１０】
複数の周波数領域変換部が、１個のマイクロホンアレーを構成する複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
直間比推定部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定過程と、
遠近判定部が、上記直間比又は直間比相当値を入力として、その値の遠近判定を行い遠近判定結果を出力する遠近判定過程と、を含む遠近判定方法であって、
上記遠近判定過程は、
周波数平均手段が、上記直間比相当値を周波数方向に平均して周波数平均直間比相当値を出力する周波数平均ステップと、
蓄積手段が、上記周波数平均直間比相当値を過去所定のフレーム分の時間蓄積して、比較対象直間比相当値を出力する蓄積ステップと、
判定手段が、上記周波数平均直間比相当値と、上記比較対象直間比相当値とを比較して遠近判定結果を出力する判定ステップと、
を含む遠近判定方法。
【請求項１１】
請求項１乃至４の何れかに記載した雑音除去装置、または、請求項５に記載の遠近判定装置としてコンピュータを機能させるための装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、音声通話や、音声入力によって機器を操作するハンズフリー方式等に応用でき、マイクロホンから特定の距離範囲内に位置する音源の音だけを強調して収音する際に用いられる雑音除去装置、遠近判定装置、各装置の方法と各装置プログラムに関する。
【背景技術】
【０００２】
図１６に、非特許文献１に開示された従来の雑音除去装置１６０の機能構成を示してその動作を簡単に説明する。雑音除去装置１６０は、Ｍ個のマイクロホンｍ1〜ｍMと、複数の遅延部１６１1〜１６１Mと、重み乗算部１６２1〜１６２Mと、加算部１６３とを備える。雑音除去装置１６０は、Ｍ個のマイクロホンｍ1〜ｍMを用いて、座標（ｐ,ｑ）の点にある音源から発せられる音を信号、それ以外の点から発せられる音を雑音としたときに、信号だけを強調した高い信号対雑音比（ＳＮＲ）で音声を収音する目的で利用される。
【０００３】
はじめに座標（ｐm,ｑm）に配置したマイクロホンで受音した受音信号ｘm（ｎ）（ｍ＝１…Ｍ）に対し、遅延部１６１1〜１６１Mと重み乗算部１６２1〜１６２Mとが遅延Ｄmとゲインｇmを付加することにより信号ｙm（ｎ）を得る（式（１））。
【０００４】
【数１】
2011055211.tif 000003
【０００５】
ここで、Ｄmは遅延量、ｇmはゲインであり、予め与えられた所望音源の位置（ｐ,ｑ）から、それぞれ式（２）と式（３）により導出される。
【０００６】
【数２】
2011055211.tif 000004
【０００７】
ここで、ｒm,ｒcはそれぞれ式（４）と式（５）で定義されるマイク−音源間距離及び臨界距離であり、ｃは音速、ＶとＴはそれぞれ室容積、屋内の残響時間である。
【０００８】
【数３】
2011055211.tif 000005
【０００９】
加算部１６３は、信号ｙm（ｎ）を加算して所望位置から発せられた音を強調した信号ｚ（ｎ）を求める（式（６））。
【００１０】
【数４】
2011055211.tif 000006
【００１１】
以上のように雑音除去装置１６０は、所望位置から発せられた音を強調して雑音を除去する。この従来の方法でより高いＳＮＲで音声を収音するためには、マイクロホンの数を増やすか、またはマイクロホンアレーを大型化する必要がある。
【００１２】
２個のマイクロホンアレーを用いることでマイクロホンアレーの大型化を回避した収音装置１７０が、特許文献１に開示されている。図１７に収音装置１７０の機能構成を示してその動作を簡単に説明する。
【００１３】
収音装置１７０は、２個の小規模マイクロホンアレー３Ｌ，３Ｒ（以降、小規模は省略する）、６個の収音部４-１〜４-６、周波数変換部５、加算部６、音源信号成分推定部７、利得係数算出部８、乗算部９、逆周波数領域変換部１０、を備える。
【００１４】
２個のマイクロホンアレー３Ｌと３Ｒは、収音対象である所望音源までの距離と同程度の間隔を空けて配置される。各収音部４-１〜４-６は、内部のフィルタによるディジタル信号処理により、マイクロホンアレー３Ｌ，３Ｒに指向特性を設定する。第１収音部４-１と第２収音部４-２は、所望音源位置を含む角度領域の音を収音する指向特性をマイクロホンアレー３Ｌと３Ｒにそれぞれ与える。第３収音部４-３と第４収音部４-４は、所望音源位置を含まない角度領域の音を収音する指向特性をマイクロホンアレー３Ｌと３Ｒにそれぞれ与える。第５収音部４-５は、マイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源の位置を含む角度領域の指向特性をマイクロホンアレー３Ｌと３Ｒに与える。第６収音部４-６は、マイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源の位置を含まない角度領域の指向特性をマイクロホンアレー３Ｌと３Ｒに与える。
【００１５】
このように収音装置１７０は、２個のマイクロホンアレーに指向特性を持たせることで、収音を希望する角度領域の区別を容易にする。その結果、マイクロホンアレーを小型化することができる。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】野村博昭、金田豊、小島順治、“近接音場型マイクロホンアレー”日本音響学会誌、Vol.53,No.2,pp.110-116,1997.
【特許文献】
【００１７】
【特許文献１】特開２００７−２３５３５８号（図２）
【発明の概要】
【発明が解決しようとする課題】
【００１８】
非特許文献１に開示された従来の雑音除去装置は、その装置から見て同じ方向で距離が異なる点に配置された音源から発せられる音の内、どれか一つを選択強調して収音するために大規模なマイクロホンアレーを必要とする問題点があった。これは、１個の小規模なマイクロホンアレーを用いた場合、従来技術では原理上、方向に関する識別能力しか持たず、同じ方向で位置が異なる複数の音源が発する音のうち、どれか一つだけを選択して収音することが不可能であるためである。そのため、距離識別の精度を向上させるためにマイクロホンアレーの大型化が必要であった。マイクロホンアレーの大型化は、雑音除去装置の設置や運搬の制約となる。
【００１９】
マイクロホンアレーの大型化を回避する目的の従来の収音装置１７０は、小規模ではあるが２個のマイクロホンアレーを必須の構成要素とするものである。よって、コストの増大や配線が煩雑化するといった問題点があった。
【００２０】
この発明は、このような問題点に鑑みてなされたものであり、１個のマイクロホンアレーであっても、音源との距離を識別し、特定の距離範囲にある音源からの音だけを強調若しくは抑圧することで雑音を除去する雑音除去装置と、音源との距離の遠近を判定する遠近判定装置と、それらの方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
この発明の雑音除去装置は、複数のマイクロホンから成る１個のマイクロホンアレーと、複数の周波数領域変換部と、処理対象信号生成部と、直間比推定部と、対象信号調整部と、逆周波数領域変換部と、を備える。複数の周波数領域変換部は、複数のマイクロホンで受音された受音信号がそれぞれ入力され、それぞれの受音信号を周波数領域の信号に変換する。処理対象信号生成部は、複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する。直間比推定部は、複数の周波数領域変換部の出力する周波数領域の信号を入力として受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する。対象信号調整部は、処理対象信号と、直間比又は直間比相当値を入力としてその値に応じて処理対象信号の振幅を調整した処理後信号を生成する。逆周波数領域変換部は、処理後信号を時間領域の信号に変換する。
【００２２】
また、この発明の遠近判定装置は、この発明の雑音除去装置と同様の１個のマイクロホンアレーと、複数の周波数領域変換部と、直間比推定部とを備え、対象信号調整部と逆周波数領域変換部とに代えて遠近判定部を備える。遠近判定部は、周波数平均手段と、蓄積手段と、判定手段とを具備する。周波数平均手段は、直間比又は直間比相当値を周波数方向に平均して周波数平均直間比相当値を出力する。蓄積手段は、周波数平均直間比相当値を過去所定フレーム分の時間蓄積して、比較対象直間比相当値を出力する。判定手段は、周波数平均直間比相当値と、比較対象直間比相当値とを比較して遠近判定結果を出力する。
【発明の効果】
【００２３】
この発明の雑音除去装置は、直間比、若しくは直間比相当値を推定して、その値に応じて受音信号をフィルタリングする。直間比（直間比相当値）とは、受信音に含まれる直接音と間接音（残響音）との比であり、マイクロホンと音源間との距離に応じて単調に変化する値である。この値に応じて受信音をフィルタリングすることで一定の距離範囲内にあると判定された音源の成分だけを強調又は抑圧して収音することができる。その結果、１個のマイクロホンアレーで、且つ、マイクロホンアレーと雑音除去装置本体間の配線を煩雑にすることも無く、特定の距離にある音源の音だけを収音（雑音を除去）することが可能になる。
【００２４】
また、この発明の遠近判定装置は、周波数平均直間比相当値を比較対象直間比相当値とを比較することで、逐次入力される周波数平均直間比相当値、つまり、発音時刻が異なる音の音源の距離の遠近を判別することができる。
【図面の簡単な説明】
【００２５】
【図１】この発明の雑音除去装置１００を利用する場面の一例を示す図。
【図２】屋内での音の伝搬経路を示す図。
【図３】直間比とマイクロホン間距離との関係を示す図。
【図４】この発明の雑音除去装置４００の機能構成例を示す図
【図５】雑音除去装置４００の動作フローを示す図。
【図６】処理対象信号生成部４３の機能構成例を示す図。
【図７】直間比推定部４４の機能構成例を示す図。
【図８】この発明の雑音除去装置８００の機能構成例を示す図。
【図９】直間比推定部８４の機能構成例を示す図。
【図１０】処理対象信号生成部８３の機能構成例を示す図。
【図１１】直間比推定部１１０の機能構成例を示す図。
【図１２】この発明の遠近判定装置１２０の機能構成例を示す図。
【図１３】効果確認実験の実験条件を示す図。
【図１４】効果確認実験の結果を示す図であり、（ａ）は所望信号、（ｂ）は入力信号、（ｃ）は出力信号である。
【図１５】直間比の一例を示す図。
【図１６】非特許文献１に開示された雑音除去装置１６０の機能構成を示す図。
【図１７】特許文献１に開示された収音装置１７０の機能構成を示す図。
【発明を実施するための形態】
【００２６】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「￣」や「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。
【００２７】
実施例の説明の前にこの発明の考えについて説明する。
【００２８】
〔この発明の考え〕
この発明は、単一のマイクロホンアレーを用いて、マイクロホンアレーから特定の距離範囲にある音だけを強調若しくは抑圧して、所定の範囲内の音源の音を収音することを目的とするものである。または、受音信号の音源位置の遠近を判定するものである。  
【００２９】
図１にこの発明の雑音除去装置１００を利用する場面を例示する。小型マイクロホンアレー１１を、例えば４人の発話者１２〜１４が取り囲んで会議をしている場面を想定する。その会議室内には、テレビ１６、電話１７、館内放送用のスピーカ１８が配置されているものとする。このような場面において、館内放送の音声や、電話の音等を収音せずに、小型マイクロホンアレー１１を中心として所定の距離範囲内（破線で示す円内）に位置する発話者１２〜１４の発話だけを収音したい。
【００３０】
この発明では、マイクロホンアレーから音源までの距離を見分けるために、受信音に含まれる直接音と間接音（残響音）との比（以降、直間比と称する）に着目する。図２に屋内にマイクロホンを置いて音を収録した際の、音源２１からマイクロホン２２までの音の伝搬経路を示す。直接音とは、音源２１からマイクロホンまで直接到達する太い実線で示す音波である。一方の残響音とは、音源２１から発した音が壁や床や天井などで反射してからマイクロホン２２に到達する破線で示す音波である。
【００３１】
図３に直間比とマイクロホン間距離との関係を示す。図３の横軸はマイクロホンから音源までの距離、縦軸は直間比である。一般的に間接音はマイクロホンからの距離に依存しない一定の大きさを示す。その間接音に対して直接音は、マイクロホンからの距離の増加に伴って単調に減少する特性を示す。その直接音を間接音で除した直間比は、直接音と同様に距離の増加に伴って単調に減少する特性になる。
【００３２】
この発明の雑音除去装置と遠近判定装置は、受信音からこの直間比を推定し、受信音に含まれる音源のマイクロホンアレーからの距離を推定する。よって、直間比から、１個の小型マイクロホンアレー１１を中心とした所定の距離範囲を推定することが可能である。
【００３３】
この発明の雑音除去装置は、その直間比に応じて処理対象信号の振幅を調整することで、所望の音源の音を収音することで雑音を除去する。また、遠近判定装置は、この直間比を用いて逐次入力される受音信号の音源の距離の遠近を判別する。
【実施例１】
【００３４】
図４にこの発明の雑音除去装置４００の機能構成例を示す。その動作フローを図５に示す。雑音除去装置４００は、１個のマイクロホンアレー４１と、複数の周波数領域変換部４２1〜４２Mと、処理対象信号生成部４３と、直間比推定部４４と、対象信号調整部４５と、逆周波数領域変換部４６と、を具備する。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００３５】
マイクロホンアレー４１は複数のマイクロホンｍ1，…ｍMから成る。複数の周波数領域変換部４２1，…，４２Mは、複数のマイクロホンｍ1，…ｍMで受音された受音信号ｘm（ｎ）がそれぞれ入力され、各受音信号を周波数領域の信号に変換する（ステップＳ４２）。周波数領域変換部４２1，…，４２Mは、受音信号ｘm（ｎ）を、例えばサンプリング周波数１６ｋＨｚでサンプリングしてディジタル信号に変換し、例えば２５６個のサンプルを１フレームとして、それぞれのフレームにおいて離散フーリエ変換を行い周波数成分Ｘm（ω，ｌ）を出力する（ステップＳ４２）。ωは周波数、ｌはフレーム番号である。なお、受音信号ｘm（ｎ）をディジタル信号に変換するＡ/Ｄ変換器は省略している。
【００３６】
処理対象信号生成部４３は、複数の周波数領域変換部４２1，…，４２Mが出力する周波数領域の信号Ｘm（ω，ｌ）を合成して処理対象信号Ｙ（ω，ｌ）を生成する（ステップＳ４３）。
【００３７】
直間比推定部４４は、複数の周波数領域変換部４２1，…，４２mが出力する周波数領域の信号Ｘm（ω，ｌ）を入力として受音信号の直間比ＥR（ω，ｌ）、若しくはその直間比に相当する直間比相当値ＥF（ω，ｌ）を推定する（ステップＳ４４）。図４では、ＥR（ω，ｌ）とＥF（ω，ｌ）の両者を意味するＥ（ω，ｌ）と表記している。
【００３８】
対象信号調整部４５は、処理対象信号Ｙ（ω，ｌ）と、直間比ＥR（ω，ｌ）又は直間比相当値ＥF（ω，ｌ）を入力としてその値に応じて処理対象信号Ｙ（ω，ｌ）の振幅を調整した処理後信号Ｚ（ω，ｌ）を生成する（ステップＳ４５）。
【００３９】
逆周波数領域変換部４６は、処理後信号Ｚ（ω，ｌ）を時間領域の信号ｚ（ｎ）に変換する（ステップＳ４６）。ステップＳ４１〜ステップＳ４６までの動作は、全ての受音信号ｘm（ｎ）が終了するまで継続される。
【００４０】
ここで、直間比ＥR（ω，ｌ）又は直間比相当値ＥF（ω，ｌ）の値に応じて調整とは、ＥR（ω，ｌ）やＥF（ω，ｌ）の閾値処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を大きくする処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を小さくする等の処理を含む。詳しくは後述する。
【００４１】
以上の動作により、１個のマイクロホンアレーによって、例えば、特定の距離範囲にある音だけを強調し、その範囲外の音は抑圧して収音する雑音除去が行われる。以降、各部のより具体的な機能構成例を示して更に詳しくこの発明を説明する。
【００４２】
〔処理対象信号生成部〕
図６に処理対象信号生成部４３のより具体的な機能構成例を示す。処理対象信号生成部４３は、複数の重み乗算手段４３１1〜４３１Mと、加算手段４３２を備える。複数の重み乗算手段４３１1〜４３１Mは、Ｍ個のマイクロホンで受音した複数の受音信号ｘm（ｎ）の、それぞれの周波数成分Ｘ1（ω，ｌ），…，ＸM（ω，ｌ）に重み係数ｗm（ω）を乗ずる。
【００４３】
重み乗算手段４３１1〜４３１Mで使用する重みには、例えばＭ個のマイクロホンが無指向性の場合にはｗm＝１/Ｍとすることで全ての周波数成分Ｘ1（ω，ｌ），…，ＸM（ω，ｌ）の平均を取ることで、処理対象信号Ｙ（ω，ｌ）を安定化させる。また、Ｍ個のマイクロホンが指向性を持つ場合には、ｗ1＝１，ｗm＝０（ｍ＝{２，…，Ｍ}）とすることで、特定のマイクロホンの信号だけを使用することができる。例えば、参考文献「大賀、山崎、金田著、“音響システムとディジタル信号処理”電子情報通信学会発行」に記載されているような方法を利用して、重みビームフォーミングのフィルタ係数を使用すれば、マイクロホンアレーで任意の指向性を形成することもできる。
【００４４】
加算手段４３２は、重みが乗ぜられた全ての周波数成分Ｘ1（ω，ｌ），…，ＸM（ω，ｌ）を加算して処理対象信号Ｙ（ω，ｌ）を出力する。
【００４５】
〔直間比推定部〕
図７に直間比推定部４４の機能構成例を示す。直間比推定部４４は、空間相関行列算出手段４４１と、固有値展開手段４４２と、固有値分布算出手段４４３と、を備える。空間相関行列算出手段４４１は、複数の周波数領域変換手段４２1，…，４２Mが出力する周波数領域の信号Ｘ1（ω，ｌ），…，ＸM（ω，ｌ）を入力として、周波数領域の信号Ｘ1（ω，ｌ），…，ＸM（ω，ｌ）をベクトル化し、その入力信号を用いて式（７）に示す空間相関行列Ｒ（ω，ｌ）を算出する。
【００４６】
【数５】
2011055211.tif 000007
【００４７】
ここでＴは行列の転置、Ｈは共役転置を、Ｌは平均を求めるフレームの数を表す。
【００４８】
空間相関行列Ｒ（ω，ｌ）は、固有値展開手段４４２に入力される。固有値展開手段４４２は、空間相関行列Ｒ（ω，ｌ）を固有値展開して固有値λm(ω，ｌ)と固有ベクトルｖm(ω，ｌ)に分解（式（９））し、固有値λm(ω，ｌ)を固有値分布算出手段４４３に出力する（固定値展開ステップ）。
【００４９】
【数６】
2011055211.tif 000008
【００５０】
ここでｖHm（ω，ｌ)は、固有ベクトルｖm（ω，ｌ)のエルミート転置である。また、固有値λm(ω，ｌ)は、昇順（λ1（ω，ｌ）＜λ2（ω，ｌ）＜…＜λM（ω，ｌ））に並べられているものとする。
【００５１】
固有値分布算出手段４４３は、固有値λm(ω，ｌ)の分布の割合を数値化して、直間比相当値ＥF（ω，ｌ）を出力する（固有値分布算出ステップ）。この数値化は、例えば式（１０）に示すように最大固有値λM(ω，ｌ)の全体（固有値の総和）に対する割合や式（１１）に示すエントロピー等が用いられる。
【００５２】
【数７】
2011055211.tif 000009
【００５３】
〔対象信号調整部〕
対象信号調整部４５は、例えば、フィルタ係数算出手段４５１と、乗算手段４５２とで構成できる（図４）。フィルタ係数算出部４５は、直間比相当値Ｅ（ω，ｌ）を入力としてフィルタ係数Ｇ（ω，ｌ）を算出して出力する。フィルタ係数Ｇ（ω，ｌ）の算出には、例えば式（１２）に示すように閾値を用いた２値のフィルタなどが用いられる。
【００５４】
【数８】
2011055211.tif 000010
【００５５】
なお、閾値Ｔｈは、直間比Ｅ（ω，ｌ）の最小値と最大値の間の任意の値が設定できる。閾値Ｔｈを最小値（０）に近づけると音質は向上する。逆に閾値Ｔｈを最大値に近づけると雑音抑圧効果は高めるが受音信号の歪みが大きくなり音質が劣化する。
【００５６】
このように閾値Ｔｈは、音質と雑音抑圧との関係でトレードオフの関係を持つ。よって、閾値Ｔｈは、このトレードオフの関係を考慮した上で、利用目的に応じて経験的に決定される。
【００５７】
また、フィルタ係数Ｇ（ω，ｌ）の算出に際して式（１３）に示すように、直間比相当値が閾値Ｔｈ2を下回る時間周波数帯域を強調するようにすれば、特定の距離範囲より遠くの音源を強調することができる。
【００５８】
【数９】
2011055211.tif 000011
【００５９】
なお、フィルタ係数Ｇ（ω，ｌ）の例として０か１の２値のフィルタを挙げたが、フィルタ係数Ｇ（ω，ｌ）は必ずしも０と１である必要はなく、例えば、０.１と０.９のように十分異なる値であれば良い。
【００６０】
また、フィルタ係数Ｇ（ω，ｌ）には、１以上の実数を設定するようにしても良い。つまり、処理対象信号Ｙ（ω，ｌ）を増幅するようにしても良い。また、０.１以下の値に設定して処理対象信号Ｙ（ω，ｌ）を大きく抑圧するようにしても良い。
【００６１】
このようにして求めたフィルタ係数Ｇ（ω，ｌ）が、乗算部４６において、処理対象信号Ｙ（ω，ｌ）に乗じて処理後信号Ｚ（ω，ｌ）＝Ｇ（ω，ｌ）・Ｙ（ω，ｌ）が生成される。よって、処理後信号Ｚ（ω，ｌ）を、直間比相当値ＥF（ω，ｌ）の大きな処理対象信号Ｙ（ω，ｌ）のみで構成することができる。つまり、直接音のみを抽出することができる。
【実施例２】
【００６２】
図８にこの発明の雑音除去装置８００の機能構成例を示す。雑音除去装置８００は、上記した雑音除去装置４００に対して、処理対象信号生成部８３と、直間比推定部８４の動作が異なる。
【００６３】
図９に直間比推定部８４の機能構成例を示す。直間比推定部８４は、固有値展開手段８４２が、最大の固有値λM（ω，ｌ）に対応する固有ベクトルｖL（ω，ｌ）を出力する点が直間比推定部４４（図７）と異なる。その固有ベクトルｖL（ω，ｌ）は処理対象信号生成部８３に入力される。
【００６４】
図１０に処理対象信号生成部８３の機能構成例を示す。処理対象信号生成部８３は、固有ベクトルｖL（ω，ｌ）を重み乗算部８３１1〜８３１Mの重みとして用いる点で、処理対象信号生成部４３と異なる。
【００６５】
マイクロホンアレー４１を構成するマイクロホンの数、Ｍ個に対応する数の固有ベクトルが、それぞれ重み乗算部８３１1〜８３１Mの重みとして用いられる。つまり、ｍ番目のマイクロホンの重みｗm(ω)には、固有ベクトルｖL（ω，ｌ）のｍ番目の成分ｖL,m（ω，ｌ）が用いられる。
【００６６】
最大の固有値λM（ω，ｌ）に対応する固有ベクトルｖL（ω，ｌ）は、直接音を強調するビームフォーミングの重みとして機能することが知られている。従って、雑音除去装置８００は、雑音除去装置４００よりも雑音除去性能を向上させることが可能である。
【実施例３】
【００６７】
実施例３として、真の直間比ＥR（ω，ｌ）を求める方式の直間比推定部１１０を説明する。図１１に直間比推定部１１０機能構成例を示す。直間比推定部１１０は、空間相関行列算出手段４４１と、信号パワー推定手段１１２と、直間比算出手段１１３と、を備える。空間相関行列算出手段４４１は、実施例１，２と同じものである。
【００６８】
信号パワー推定部１１２は、空間相関行列算出手段４４１が出力する空間相関行列Ｒ（ω，ｌ）の各成分Ｒij（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒd（ω）（式（１４））と、行列Ｒr（ω）（式（１５））の各成分ｄij（ω）と、各成分ｒij（ω）より、それぞれ構成される式（１６）に示す行列Ａ（ω）と、式（１７）に示すＢ（ω）を用いる。
【００６９】
【数１０】
2011055211.tif 000012
【００７０】
ここで、Ｄmnはｍ番目のマイクロホンとｎ番目のマイクロホンの距離、θはマイクロホンアレーの正面から見た音源の方向である。ここでは、マイクロホンアレーの形状は直線配置とし、マイクロホンアレーの正面とはマイクロホンの並ぶ直線の法線方向を意味する。
【００７１】
【数１１】
2011055211.tif 000013
【００７２】
そして、式（１８）に示す連立方程式を立て、これを解くことで直接音のパワーＰd（ω，ｌ）と残響音のパワーＰr（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（１９））を求め、直接音パワーＰd（ω，ｌ）と残響音パワーＰr（ω，ｌ）をそれぞれ出力する。
【００７３】
【数１２】
2011055211.tif 000014
【００７４】
なお、マイクロホンアレーの配置が直線以外の配置の場合の行列Ｒd（ω）は、より一般的な式（２０）に示す形式で表せる。
【００７５】
【数１３】
2011055211.tif 000015
【００７６】
ここでＤmn（θ）￣は、角度θ°方向から見たときのｍ番目のマイクロホンとｎ番目のマイクロホンの距離差を表す。また、式（１８）の連立方程式の解の導出は、例えば式（２２）に示すようにＡ（ω）の擬似逆行列Ａ＋（ω）（式（２１））を、Ｂ（ω，ｌ）の左から掛ける方法で行われる。
【００７７】
【数１４】
2011055211.tif 000016
【００７８】
直間比算出手段１１３は、直接音パワーＰd（ω，ｌ）と残響音パワーＰr（ω，ｌ）より、式（２３）によって直間比ＥR（ω，ｌ）を算出して出力する。
【００７９】
【数１５】
2011055211.tif 000017
【００８０】
この実施例３の方法は、実施例１と２の方法に比べて直接的に直間比を求めることが可能になるため、より正確な直間比の推定が可能である。また、実施例３の方法は固有値展開を用いないので計算量も削減する効果も奏する。
【実施例４】
【００８１】
この発明の実施例４として、実施例１で述べた直間比相当値ＥF（ω，ｌ）又は実施例３で述べた直間比ＥR（ω，ｌ）を用いて音源の遠近を判定する遠近判定装置１２０を説明する。図１２に遠近判定装置１２０の機能構成例を示す。遠近判定装置１２０は、マイクロホンアレー４１と、複数の周波数領域変換部４１1〜４１mと、直間比推定部４４と、遠近判定部１２１と、を備える。マイクロホンアレー４１と、複数の周波数領域変換部４１1〜４１mと、直間比推定部４４とは、雑音除去装置４００のものと同じである。遠近判定装置１２０も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。
【００８２】
遠近判定装置１２０は、複数の異なる距離にある音源が異なる時刻に発音するときに、ある時刻に受音された音の音源が遠くにあるのか近くにあるのかを判定するものである。遠近判定装置１２０を構成する遠近判定部１２１は、周波数平均手段１２１０と、蓄積手段１２１１と、判定手段１２１２と、を備える。なお、以降の説明は直間比相当値ＥF（ω，ｌ）を用いた例で説明する。直間比相当値ＥF（ω，ｌ）を直間比ＥR（ω，ｌ）に置換えても遠近判定装置１２０の動作に変わりはない。
【００８３】
周波数平均手段１２１０は、直間比相当値ＥF（ω，ｌ）を入力として、直間比相当値ＥF（ω，ｌ）を周波数方向に平均して周波数平均直間比相当値Ｅl￣を出力する（式（２４））。
【００８４】
【数１６】
2011055211.tif 000018
【００８５】
ここで、Ｋは周波数領域変換部４２1〜４２Mで行ったフーリエ変換の周波数ビンの総数である。
【００８６】
蓄積手段１２１１は、周波数平均直間比相当値Ｅl￣を過去Ｌ時間フレーム分蓄積して、比較対象直間比相当値Ｅ＾を出力する。比較対象直間比相当値Ｅ＾には、例えば蓄積された周波数平均直間比相当値Ｅl￣の平均値Ｅ＾＝１/ＬΣlLＥl￣や、最小値と最大値の平均値Ｅ＾＝１/２（maxＥl￣+minＥl￣）等が用いられる。
【００８７】
判定手段１２１２は、周波数平均直間比相当値Ｅl￣と、比較対象直間比相当値Ｅ＾を比較して、Ｅl￣＞Ｅ＾の時には遠近判定結果Ｙlに距離が近いことを表す例えば１を、Ｅl￣＜Ｅ＾の時には遠近判定結果Ｙlに距離が遠いことを表す例えば０を出力する。この遠近判定結果Ｙlは、直近の過去Ｌ時間分の受音信号が、比較的近い音源からの音であるか、又は、比較的遠い音源からの音であるかを表すものである。
【００８８】
この遠近判定結果Ｙlを用いることで、逐次入力される受音信号を、マイクロホンとその音源間との距離によって切り分けることが可能である。つまり、複数の音源の音を、マイクロホンからの距離に応じて選択することができる。
【００８９】
〔実験結果〕
この発明の効果を確認する目的で、マイクロホンアレーから見て同じ方向で異なる位置に、２つの音源をそれぞれ配置し、マイクロホンアレーから遠い方の音源の音を抑圧するコンピュータシミュレーションを行った。直間比は実施例３の方法で求めた。
【００９０】
図１３にシミュレーション条件を示す。平面サイズが４×６ｍで、高さが２.５ｍの部屋を想定した。３個のマイクロホンが直線状に４ｃｍの間隔を空けて並べられたマイクロホンアレーを用いた。マイクロホンアレーは、中央のマイクロホンを高さ１.５ｍで４ｍの壁から１ｍの位置に配置した。そして中央のマイクロホンの中心軸から角度１０°の方向で、マイクロホンアレーから０.５ｍと４.０ｍの距離にそれぞれ異なる音源を配置した。
【００９１】
図１４に２つの音源から異なる音声が再生された時の雑音除去装置の出力信号を示す。図１４の横軸は時間[秒]、縦軸は振幅である。マイクロホンアレーから０.５ｍの距離にあるスピーカは、約２秒間発音し、４.０ｍの距離にあるスピーカは約１.５秒〜約３.６秒の時間発音させた。以降、同じ関係で発音を繰り返すようにした。そして、４.０ｍの距離にあるスピーカの音を抑圧する実験を行った。
【００９２】
（ａ）は、所望信号を示す。（ｂ）はマイクロホンアレーで受音した受音信号そのものを示す。（ｃ）は、（ｂ）の受音信号をこの発明の雑音除去装置で雑音を除去した雑音除去装置の出力信号を示す。直間比Ｅ（ω，ｌ）は実施例３に示した方法で求めた。
【００９３】
（ｃ）と（ｂ）の２〜３秒間に注目すると、雑音除去装置の出力信号において、４.０ｍのスピーカの音が抑圧されていることが分かる。このように、この発明の雑音除去装置によれば、同じ方向で距離が異なる位置に存在する音源を雑音源として、その音だけを抑圧することが出来る。また、この結果を定量的に評価した結果、雑音の抑圧量を評価する値である信号対干渉音比（ＳＩＲ）の改善量が５.４ｄＢ向上し、所望音の音質を評価する値である信号対歪み比（ＳＤＲ）は１１.４ｄＢであった。このことからもこの発明の技術は所望音質とのトレードオフのバランスを取りつつ、雑音を抑圧する効果を奏することが分かる。
【００９４】
図１５に、実施例３による方法で直間比Ｅ（ω，ｌ）を求めた実験結果を示す。  図１５の、横軸はマイクロホンアレーと音源間との距離[ｃｍ]、縦軸は直間比[ｄＢ]である。この発明の方法で推定した直間比を○でプロットする。実際の直間比を□でプロットする。
【００９５】
実際の直間比は、予め測定された直接音成分と残響音成分に分けたインパルス応答より求めた。
【００９６】
図１５において、２０ｃｍ以下では実際の直間比の値と異なる傾向を示すが、３０ｃｍ以上の距離においては同じ傾向を示す。このことから、正しく直間比が求められていることが分かる。この直間比の値から距離が求められることも、図１５から良く理解することが出来る。
【００９７】
このように、この発明の雑音除去装置は、１個のマイクロホンアレーでも特定の距離にある音源の音だけを強調（雑音を除去）することが可能になる。
【００９８】
なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００９９】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１００】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2011055211.tif 000019
【図２】
2011055211.tif 000020
【図３】
2011055211.tif 000021
【図４】
2011055211.tif 000022
【図５】
2011055211.tif 000023
【図６】
2011055211.tif 000024
【図７】
2011055211.tif 000025
【図８】
2011055211.tif 000026
【図９】
2011055211.tif 000027
【図１０】
2011055211.tif 000028
【図１１】
2011055211.tif 000029
【図１２】
2011055211.tif 000030
【図１３】
2011055211.tif 000031
【図１４】
2011055211.tif 000032
【図１５】
2011055211.tif 000033
【図１６】
2011055211.tif 000034
【図１７】
2011055211.tif 000035