(57)【要約】【課題】目的音の高速な方向変化や所定時間長内での目的音の方向変化、あるいは目的音が切り替わる場合でも、その変化に追従でき、雑音抑圧性能が劣化することのない雑音抑圧方法、装置、プログラムおよびその記録媒体を提供する。【解決手段】時間差補償部２は、各マイクロフォン素子M1，M2，…Mmの受音信号系列Xi（k）および位置情報、ならびに目的音の方向θx(k)，θy(k)に基づいて、遅延時間差が補償された補償後信号系列yi（k）を算出し、これを出力する。誤差算出部４は、各補償後信号系列yi(k)間の誤差成分の総和を誤差e(k)として出力する。方向算出部３は、誤差e(k)が最小値を示す目的音sの方向θx(k)，θy（k）を算出し、これを時間差補償部２へ出力する。適応ビームフォーミング処理部５は、入力された各補償後信号系列yi(k)を合成して目的音の出力信号z(k)を抽出する。【選択図】図１
2009130908.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロフォン素子で検知された受音信号から雑音成分を抑圧して目的音を抽出する雑音抑圧装置において、
各マイクロフォン素子の位置情報と別途に入力される目的音の方向とに基づいて、各受音信号に含まれる遅延時間を算出する遅延時間算出手段と、
各マイクロフォン素子で検知された時系列の受音信号および前記各遅延時間に基づいて、前記遅延時間が補償された補償後信号をマイクロフォン素子ごとに出力する時間差補償手段と、
前記各補償後信号間の誤差成分を算出する誤差算出手段と、
前記誤差成分を最小化する目的音の方向を算出し、前記遅延時間算出手段へ出力する方向算出手段と、
前記各マイクロフォン素子の補償後信号に基づいて目的音を抽出する目的音抽出手段とを含むことを特徴とする雑音抑圧装置。
【請求項２】
前記目的音抽出手段は、目的音の方向を所定の固定値として、各マイクロフォン素子の補償後信号に基づいて空間フィルタを学習し、当該空間フィルタを用いて目的音を抽出することを特徴とする請求項１に記載の雑音抑圧装置。
【請求項３】
前記時間差補償手段は、目的音の方向が最適化される過程で各補償後信号の時間差を最小化することを特徴とする請求項１または２に記載の雑音抑圧装置。
【請求項４】
前記時間差補償手段は、マイクロフォン素子ごとに、時系列の受音信号に遅延時間を適用して補償後信号を算出することを特徴とする請求項３に記載の雑音抑圧装置。  
【請求項５】
前記方向算出手段は、前記誤差成分を最小化する目的音の方向を最急降下法で算出することを特徴とする請求項１または２に記載の雑音抑圧装置。
【請求項６】
前記目的音抽出手段が、適応フォーミング処理、遅延和ビームフォーミング処理、独立成分分析処理および時間周波数マスキング処理のいずれかを実行することを特徴とする請求項１ないし５のいずれかに記載の雑音抑圧装置。
【請求項７】
複数のマイクロフォン素子で検知された受音信号から雑音成分を抑圧して目的音を抽出する雑音抑圧方法において、
各マイクロフォン素子の位置情報と別途に入力される目的音の方向とに基づいて、各受音信号に含まれる遅延時間を算出する手順と、
各マイクロフォン素子で検知された時系列の受音信号および前記各遅延時間に基づいて、前記遅延時間が補償された補償後信号をマイクロフォン素子ごとに出力する手順と、
前記各補償後信号間の誤差成分を算出する手順と、
前記誤差成分を最小化する目的音の方向を算出し、前記遅延時間を算出する手順へ出力する手順と、
前記各マイクロフォン素子の補償後信号に基づいて目的音を抽出する手順とを含むことを特徴とする雑音抑圧方法。
【請求項８】
前記請求項７に記載の雑音抑圧方法を、コンピュータに実行させるための雑音抑圧プログラム。
【請求項９】
前記請求項８に記載した雑音抑圧プログラムをコンピュータが読み取り可能に記憶された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音抑圧方法、装置、プログラムおよびその記録媒体に係り、特に、複数個のマイクロフォン素子で検知された受音信号に基づいて、雑音を抑制して目的音のみを抽出する雑音抑圧方法、装置、プログラムおよびその記録媒体に関する。
【背景技術】
【０００２】
街頭、車内あるいは駅のプラットホームなどに代表される雑音環境下では、ハンドセットやヘッドセットなどの口元に近接配置されたマイクロフォンを用いても、目的音である所望の音声に、妨害音である他の音声や周囲雑音が混入してしまうことがある。この問題を解決するため、これまでに様々なノイズキャンセラやノイズサプレッサが提案されている。ノイズキャンセラは、単一のマイクロフォンを使用するものと、より高い雑音抑圧性能を得るために複数のマイクロフォンで構成されたマイクロフォンアレイを使用するものとに大きく分類できる。
【０００３】
マイクロフォンアレイでは、複数のマイクロフォン素子が空間的に配置され、各マイクロフォン素子の受音信号には、各マイクロフォン素子と音源との空間的な位置関係に依存した時間差や振幅差が反映される。非特許文献１には、マイクロフォンアレイを用いた雑音抑圧手法として、各マイクロフォン素子で検知された受音信号の時間差や振幅差の統計情報を利用して、目的音のみを選択的に収音したり、あるいは目的音と妨害音とを分離したりする技術が開示されている。
【０００４】
なお、上記したマイクロフォンアレイを用いた雑音抑圧手法として、適応ビームフォーミングに基づく手法、独立成分分析に基づく方法、あるいは時間周波数マスキングに基づく手法がよく知られている。
【０００５】
前記適応ビームフォーミングに基づく手法では、目的音の方向を別途に入力され、それ以外の妨害音の方向に指向性の死角を向けるように空間フィルタを収束計算により学習させることで雑音が抑圧される。このため、想定している目的音の方向が実際の方向とずれている場合や、目的音の方向が時々刻々変化する場合には性能劣化が顕著に現れる。
【０００６】
このような技術課題を解決するために、特許文献１には、目的音の方向と妨害音の方向とに、それぞれ指向性の死角を向ける２つの適応ビームフォーマを利用し、その空間フィルタを利用して各方向を推定し、指向性を目的音の方向の変化に追従させる技術が開示されている。
【０００７】
独立成分分析に基づく手法では、目的音および妨害音の方向は未知でよく、目的音の方向と妨害音の方向とに、それぞれ指向性の死角を向けるように空間フィルタを学習させる。空間フィルタの学習においては、目的音と妨害音とが統計的に独立であることを利用しており、その学習には数秒にわたる受音信号が必要である。このため、目的音の方向が時々刻々変化する場合には、性能劣化が顕著に現れる。この問題を解決するため、特許文献２では、あらかじめ記憶手段に記憶させておいた空間フィルタを学習における初期空間フィルタとすることで目的音の方向の変化に追従させ技術が開示されている。
【０００８】
また、上記した適応ビームフォーミングに基づく手法を用いる場合において、目的音の方向に鈍い指向性を持たせることで、目的音の方向変化が一定の範囲内であれば、目的音の劣化を防ぐことができる。ただし、目的音の方向が鈍い指向性がゆえに雑音抑圧性能は低いものとなる。この問題を解決するため、特許文献３では、単一のマイクロフォンを使用するノイズキャンセラを直列接続し、雑音抑圧性能を維持する技術が開示されている。
【０００９】
一方、時間周波数マスキングに基づく手法では、目的音および妨害音の方向は未知でよく、目的音を抽出するために、各周波数成分のチャネル間レベル差およびチャネル間位相差を算出し、それらのチャネル間差に基づいて各周波数成分を分類し、目的音と妨害音とを分離する。各周波数成分のチャネル間レベル差およびチャネル間位相差の算出においては、所定時間長ごとに周波数分析を行う必要がある。このため、目的音の方向が時々刻々変化する場合には性能劣化が現れる。このような時間周波数マスキング方法は、例えば特許文献４に記載されている。
【００１０】
上記したように、従来の雑音抑圧方法では、目的音のみを選択的に収音するか、あるいは目的音と妨害音とを分離することで雑音抑圧を実現し、かつ目的音の方向が時々刻々変化する場合の目的音の方向変化への追従性の向上を図っている。
【特許文献１】特開2006-217649号公報
【特許文献２】特開2007-156300号公報
【特許文献３】特開2007-093630号公報
【特許文献４】特開平10-313497号公報
【非特許文献１】電子情報通信学会技術研究報告EA2002-11「騒音下音声強調における空間情報の利用について」
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１では、目的音の方向変化に追従するために、適応ビームフォーマの空間フィルタを所定時間長ごとに学習計算し、目的音の方向を推定するので、所定時間長内において目的音の方向に変化がない場合には精度よく方向を推定できる一方、所定時間長内での目的音の方向変化には追従できないという問題があった。
【００１２】
特許文献２では、目的音の方向変化に追従するために、予め記憶手段に記録された複数の空間フィルタから初期空間フィルタを決定し、初期空間フィルタと所定時間長の受音信号とを用いた学習計算が行われる。このため、所定時間長内において目的音の方向に変化がない場合は精度よく方向を推定できるが、所定時間長内での目的音の方向の変化には追従できないという問題がある。また、予め複数の空間フィルタを記憶しておくためには多くの記憶領域が必要となるのみならず、複数の空間フィルタの候補から選択された初期空間フィルタを用いた学習計算を行うことに変わりない。加えて、初期空間フィルタの選定誤りが生じた場合には、目的音が劣化する上に学習時間がさらに長くなるという問題もある。
【００１３】
特許文献３では、目的音の方向変化が一定の範囲内と仮定されており、目的音の方向がそれ以外の方向に変化した場合には、その変化に追従できず、目的音が劣化してしまうという問題がある。この場合、後段に接続された単一のマイクロフォンを使用するノイズキャンセラを利用しても目的音の劣化を復元することはできない。
【００１４】
特許文献４では、目的音の方向変化に追従するために、所定時間長ごとに各周波数成分のチャネル間レベル差およびチャネル間位相差が算出されるので、所定時間長内において目的音の方向に変化がなければ精度よく各チャネル間差を算出できるが、所定時間長内での目的音の方向変化には追従できないという問題がある。
【００１５】
このように、上記した従来技術ではいずれも、目的音の方向変化を考慮して空間フィルタを収束計算により学習させる必要がある。そして、空間フィルタは数百サンプル程度以上の長さを有したベクトルであって、その収束に必要な統計量を得るためには少なくとも同サンプル以上の信号系列が必要になるので、数秒程度の収束時間が必要となってしまう。
【００１６】
しかも、所定時間長ごとに相関性や独立性などの統計情報に基づいた学習計算を行っているため、目的音の高速な方向変化や所定時間長内での目的音の方向変化、あるいは目的音が切り替わる場合には、その変化に追従できず、雑音抑圧性能の劣化が顕著に現れるという問題がある。特に、可搬型機器にマイクロフォンアレイを取り付けた場合は、目的音のみならずマイクロフォンアレイも移動するため、相対的な目的音の方向変化はより高速になる。
【００１７】
本発明の目的は、上記した従来技術の課題を解決し、目的音の高速な方向変化や所定時間長内での目的音の方向変化、あるいは目的音が切り替わる場合でも、その変化に追従でき、雑音抑圧性能が劣化することのない雑音抑圧方法、装置、プログラムおよびその記録媒体を提供することにある。
【課題を解決するための手段】
【００１８】
上記した目的を達成するために、本発明は、複数のマイクロフォン素子で検知された受音信号から雑音成分を抑圧して目的音を抽出する雑音抑圧装置において、各マイクロフォン素子の位置情報と別途に入力される目的音の方向とに基づいて、各受音信号に含まれる遅延時間を算出する遅延時間算出手段と、各マイクロフォン素子で検知された時系列の受音信号および前記各遅延時間に基づいて、前記遅延時間が補償された補償後信号をマイクロフォン素子ごとに出力する時間差補償手段と、前記各補償後信号間の誤差成分を算出する誤差算出手段と、前記誤差成分を最小化する目的音の方向を算出し、前記遅延時間算出手段へ出力する方向算出手段と、前記各マイクロフォン素子の補償後信号に基づいて目的音を抽出する目的音抽出手段とを含むことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、目的音の方向が変化しても、この方向変化がないものとして、すなわち目的方向が固定されているものとして、空間フィルタを学習させることができるので、空間フィルタの収束計算に要する時間が大幅に短縮され、方向変化に対する応答性が改善される。したがって、目的音の高速な方向変化や所定時間長内での目的音の方向変化、あるいは目的音が切り替わる場合にも、その変化に追従することが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明を適用した雑音抑圧装置の主要部の構成を示したブロック図であり、m個のマイクロフォン素子M1，M2，…Mmで構成されるマイクロフォンアレイ１からは、各マイクロフォン素子Miが、周期的な離散時刻k（K＝１，２，３…）で検知した受音信号系列Xi（k）が時系列で出力される。
【００２１】
時間差補償部２は、各マイクロフォン素子M1，M2，…Mmの位置情報と、後述する方向算出部３から出力される目的音の方向θx(k)，θy(k)とに基づいて、各受音信号系列Xi（k）に含まれる遅延時間δi（θx，θy）を算出する遅延時間算出部２ａを含み、この遅延時間δi（θx，θy）と各受音信号系列Xi（k）とに基づいて、各マイクロフォン素子M1，M2，…Mmの位置と前記目的音の方向θx(k)，θy(k)とに応じて各受音信号系列Xi（k）間に生じる遅延時間差が補償された補償後信号系列yi（k）を算出し、これを出力する。
【００２２】
図２は、目的音をマイクロフォンアレイ１で検知した際に、目的音の方向と各マイクロフォンMiの位置との相対的な位置関係に応じて各受音信号に遅延が生じる様子を模式的に示した図である。ここでは、全てのマイクロフォン素子Mi（i＝１，２，…，m）がXY平面上の任意の位置に配置され、その位置座標pi（i＝１，２，…，ｍ）が予めXY座標値として与えられているものとして説明する。
【００２３】
位置が未知の目的音源から送出された音波が各マイクロフォンMiに平面波で到来する場合、離散時刻（サンプリングタイミング）kにおける受音信号系列xi(k)は、目的音源からXY平面の原点までの距離に依存した遅延時間τ、およびXY平面の原点から見た目的音sの方向θx，θyに依存した遅延時間δi（θx，θy）を有する。したがって、受音信号系列xi(k)と目的音sの信号系列s(k)とは次式(1)の関係を有する。
【００２４】
【数１】
2009130908.tif 000003
【００２５】
ここで、遅延時間τは目的音sの方向θx，θyに依存しない絶対遅延であり、本発明では、目的音sの方向θx，θyが一定に保たれているかのように、離散時刻kにおける受音信号系列xi(k)が補正できればよいので、遅延時間τは考慮する必要がない。
【００２６】
目的音sの方向θx，θyに依存して各マイクロフォンの受音信号に含まれる遅延時間δi（θx，θy）の差分が補償された補償後信号系列yi(k)（ｉ＝１，２，…，ｍ）は、例えば次式(2)で示されるように、時間シフトを実現するシンク関数sinc(x)に各受音信号系列xi(k)および各遅延時間δi（θx，θy）を適用し、目的音sの方向θx(k)，θy(k)を最適化することで求められる。なお、Dは因果性を満たすための固定遅延、Nはシンク関数sinc(x)の長さ、Tはサンプリング間隔である。
【００２７】
【数２】
2009130908.tif 000004
【００２８】
本実施形態では、前記時間差補償部２が、マイクロフォンアレイ１から出力される受音信号系列Xi（k）、および後述する方向算出部３から出力される目的音sの方向θx(k)，θy(k)を上式(1)，(2)に適用して、前記遅延時間δi（θx，θy）が補償された補償後信号系列yi(k)を出力する。
【００２９】
なお、本実施形態でのシンク関数sinc(x)は、受音信号系列xi(k)から時間差δi（θx，θy）を補償した補償後信号系列yi(k)を得るためのリサンプリングの補間カーネルとして用いられる。これは、単位遅延すなわちサンプリング間隔Tの整数倍以外の時間シフトを実現するためであり、サンプリング間隔Tを小さくできるオーバーサンプリングを施す、あるいはサンプリング間隔Tの整数倍の時間シフトでも必要な精度を満足するサンプリングレートを採用するならば、単位遅延の時間シフトで実現しても良い。
【００３０】
誤差算出部４は、離散時刻kにおける各マイクロフォン素子M1，M2…Mmの補償後信号系列yi（k）を入力とし、この離散時刻kにおける各補償後信号系列yi(k)間の誤差成分の総和を誤差e(k)として出力する。
【００３１】
図３は、前記誤差算出部４の機能ブロック図であり、本実施形態では、離散時刻kにおける各補償後信号系列yi(k)の差の２乗和を求め、その総和が誤差e(k)として算出される。この誤差e(k)は、各補償後信号系列yi(k)の時間差がゼロの場合に最小化される誤差関数の１つであり、目的音sの方向θx，θyが最適化されるのに伴って最小化される。
【００３２】
【数３】
2009130908.tif 000005
【００３３】
方向算出部３は、前記誤差算出部５から出力される離散時刻kにおける誤差e(k)を入力とし、誤差e(k)が最小値を示す目的音sの方向θx(k)，θy（k）を出力する。目的音sの方向θx，θyの算出に最急降下法を用いた場合、離散時刻kにおいて算出された目的音sの方向θx，θyを次式(4)に適用して、次の離散時刻k+1における目的音sの方向θx，θyを算出する。ここで、μはステップサイズパラメータである。
【００３４】
【数４】
2009130908.tif 000006
【００３５】
適応ビームフォーミング処理部５では、目的音の方向が予め正面方向（z軸上）に固定されており、入力された各補償後信号系列yi(k)に基づいて、目的音以外の妨害音の方向に指向性の死角を向けるように空間フィルタを学習させて目的音sの出力信号z(k)を抽出する。
【００３６】
ここで、本実施形態では目的音の方向が変化しても、各補償後信号系列yi(k)の時間差はゼロのままなので、適応ビームフォーミング処理部５では、目的音の方向変化がないものとして空間フィルタを学習させることができる。その結果、空間フィルタの収束計算に要する時間が大幅に短縮され、方向変化に対する応答性が改善されるので、目的音の高速な方向変化や所定時間長内での目的音の方向変化、あるいは目的音が切り替わる場合にも、その変化に追従することが可能になる。
【００３７】
本実施形態では、以上の手順を各離散時刻において、連続的かつ逐次的に算出することで、雑音抑圧性能を劣化させることなく目的音のみを選択的に収音する、あるいは目的音と妨害音とを精度良く分離することが可能になる。
【００３８】
図４は、本発明の第２実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００３９】
本実施形態では、上記した第１実施形態の適応ビームフォーミング処理部５に代えて、遅延和ビームフォーミング処理部６を設けた点に特徴がある。この遅延和ビームフォーミング処理部６は、目的音の方向に指向性を向けることで目的音である出力信号z(k)を出力する。本実施形態でも、目的音の方向は固定値とされており、目的音の方向が変化しても、遅延和ビームフォーミング処理部６では、方向変化がないものとして空間フィルタを学習させることができるので、目的音の方向変化に対する応答性が改善される。
【００４０】
図５は、本発明の第３実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００４１】
本実施形態では、上記した第１実施形態の適応ビームフォーミング処理部５に代えて、独立成分分析処理部７を設けた点に特徴がある。この独立成分分析処理部７は、目的音および妨害音の方向にそれぞれ指向性の死角を向けるように空間フィルタを学習させ、目的音とその他の妨害音とを別々の出力信号zi(k)として出力する。本実施形態でも、目的音の方向が変化しても、独立成分分析処理部７では、方向変化がないものとして空間フィルタを学習させることができるので、目的音の方向変化に対する応答性が改善される。
【００４２】
図６は、本発明の第４実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。
【００４３】
本実施形態では、上記した第１実施形態の適応ビームフォーミング処理部５に代えて、時間周波数マスキング処理部８を設けた点に特徴がある。この時間周波数マスキング処理部８は、目的音を抽出するために、各周波数成分のチャネル間レベル差およびチャネル間位相差を算出し、それらのチャネル間差に基づいて各周波数成分を分類し、目的音とその他の妨害音とを別々の出力信号zi(k)として出力する。
【００４４】
本実施形態でも、目的音の方向が変化しても、時間周波数マスキング処理部８では、方向変化がないものとして空間フィルタを学習させることができるので、目的音の方向変化に対する応答性が改善される。
【図面の簡単な説明】
【００４５】
【図１】本発明を適用した雑音抑圧装置の主要部の構成を示したブロック図である。
【図２】目的音をマイクロフォンアレイで検知した際に、目的音と各マイクロフォンとの相対的な位置関係に応じて各受音信号に遅延が生じる様子を模式的に示した図である。
【図３】誤差算出部の機能ブロック図である。
【図４】本発明の第２実施形態の構成を示した機能ブロック図である。
【図５】本発明の第３実施形態の構成を示した機能ブロック図である。
【図６】本発明の第４実施形態の構成を示した機能ブロック図である。
【符号の説明】
【００４６】
１…マイクロフォンアレイ，２…時間差補償部，３…方向算出部，４…遅延誤差算出部，５…適応ビームフォーミング処理部，６…遅延和ビームフォーミング処理部，７…独立成分分析処理部，８…時間周波数マスキング処理部
【図１】
2009130908.tif 000007
【図２】
2009130908.tif 000008
【図３】
2009130908.tif 000009
【図４】
2009130908.tif 000010
【図５】
2009130908.tif 000011
【図６】
2009130908.tif 000012