(57)【特許請求の範囲】
【請求項１】
第１のマイクロホンを含み、直線上に配置された複数のマイクロホンと、前記複数のマイクロホンが配置された直線上の複数の音源と前記第１のマイクロホンとの間の距離を測定する距離測定手段と、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離手段とを備え、前記音源分離手段は、前記距離測定手段で測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離することを特徴とする音源分離収音マイクロホン装置。
【請求項２】
第１のマイクロホンを含む複数のマイクロホンが配置された直線上の複数の音源と前記第１のマイクロホンとの間の距離を測定する距離測定ステップと、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離ステップとを備え、前記音源分離ステップは、前記距離測定ステップで測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離することを特徴とする音源分離収音方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、観測点に対して同一方向に位置する複数の音源が発する音波の混合波から、目的の音源が発する音波を分離して収音する音源分離収音マイクロホン装置および方法に関する。
【０００２】
【従来の技術】
近年、人の声で、しかも工場などの騒音環境下でもコンピュータ等の情報処理装置を制御できるようにするためのブラインド信号分離処理技術の研究が進められている。従来、鋭い指向性を有するマイクロホンを用いて目的の音源からの音波（以下、目的音という。）を、他の方向からの音波から分離する方法が知られている。この方法は、到来方向の異なる音波を相互に分離するのに有効である。
【０００３】
しかしながら、鋭い指向性のマイクロホンのみを利用するのでは、同一方向から到来する、異なる音源からの音波を相互に分離することは困難である。そのため、同一方向から到来する音波から目的音を分離するのに、異なる音源が発する音波（以下、音源信号という。）間で相互相関が低いことを利用して目的音を分離するブラインド信号分離処理技術が提案されている。
【０００４】
また、特開２００１−８４７１３号公報に開示された「ビデオカメラと一体型の音源分離マイクロホンシステム」では、同一方向から到来する目的音と雑音とを分離して収音することができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の指向性の鋭いマイクロホンを用いるのでは、目的音と雑音が同じ方向から到来する場合に、それらを別々に収音することはできず、また、同一方向から到来する複数の音源信号から目的音のみを、ブラインド信号分離処理技術を用いて分離した報告例はなく、それらの分離は困難であるという問題がある。
【０００６】
また、特開２００１−８４７１３号公報に開示された「ビデオカメラと一体型の音源分離マイクロホンシステム」では、同一方向から到来する目的音と雑音を分離して収音することができるが、同システムの信号処理回路において、ブラインド信号分離処理技術を用いて全ての分離係数を算出するため、目的音が複数ある出力信号のうちのどれとして出力されるか制御できないという問題がある。
【０００７】
本発明は、かかる問題を解決するためになされたものであり、その目的は、同一方向から到来する目的音と雑音を分離して収音することができ、所望の出力に目的音を特定して出力することが可能な音源分離収音マイクロホン装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、第１のマイクロホンを含み、直線上に配置された複数のマイクロホンと、前記複数のマイクロホンが配置された直線上の複数の音源と前記第１のマイクロホンとの間の距離を測定する距離測定手段と、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離手段とを備え、前記音源分離手段は、前記距離測定手段で測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離する構成を有している。
【０００９】
この構成により、マイクロホンから音源までの距離に関する情報を測定する距離測定部と、その距離情報を用いて音源分離処理を行う音源分離部とを設けたため、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することができる。
【００１２】
また、請求項３に係る発明は、第１のマイクロホンを含む複数のマイクロホンが配置された直線上の複数の音源と前記第１項のマイクロホンとの間の距離を測定する距離測定ステップと、前記第１のマイクロホンと前記各音源間の距離に関する情報および前記第１のマイクロホンと前記複数のマイクロホンのうちの前記第１のマイクロホン以外のマイクロホンとの間の距離に関する情報とを用い、前記各音源が発した音波を混合した混合波であって、前記各マイクロホンによって収音されて得られた混合信号から、目的とする音源が発した音波の信号成分を分離する音源分離ステップとを備え、前記音源分離ステップは、前記距離測定ステップで測定された距離の情報を用いて、前記各マイクロホンと前記各音源とのすべての組み合わせについて前記分離係数を予め計算しておき、前記予め計算された分離係数の値を用いて前記各音源が発した音波の信号成分を分離する構成を有している。
【００１３】
この構成により、マイクロホンから音源までの距離に関する情報を測定するためのステップと、その距離情報を用いて用いて音源分離処理を行うためのステップとを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することができる。
【００１８】
【発明の実施の形態】
以下、添付図面を参照し、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置について説明する。
図１に、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置のブロック構成図を示す。図１において、音源分離収音マイクロホン装置１００は、マイクロホンアレイ部１０、距離測定部２０、および音源分離部３０によって構成される。
【００１９】
マイクロホンアレイ部１０は、複数のマイクロホンが一定間隔を置いて一直線上に配列された構成を有し、各音源が発する音波の混合波を検知する。図１に、マイクロホンアレイ部１０が２個のマイクロホン１１、１２によって構成され、音源２０１、２０２が２個存在する場合の例を示す。ここで、各マイクロホン１１、１２として、それぞれ、単一指向性または無指向性のものを用いるのでも良い。
【００２０】
音源２０１、２０２が発する音波の混合波は、それぞれ、マイクロホンアレイ部１０のマイクロホン１１、１２によって検知され、検知された混合波の電気信号ｘ1、ｘ2は、それぞれ、音源分離部３０に出力される。
距離測定部２０は、マイクロホンアレイ部１０と各音源２０１、２０２間の距離を測定し、その測定された距離に関する情報を音源分離部３０に出力する。距離測定部２０は、例えば、赤外線や超音波を利用して距離測定するのでも、カメラレンズのピント情報を利用して距離測定するのでも、その他の方法によるのでも良い。
【００２１】
説明の便宜上、上記で測定される距離は、図３に模式的に示す、マイクロホン１１から音源２０１までの距離ｌ1およびマイクロホン１１から音源２０２までの距離ｌ2とするが、マイクロホン１２等その他の所定位置からの距離でも良いことは明らかである。また、マイクロホン１１からマイクロホン１２までの距離ｋ1は、予め知られているものとする。
【００２２】
音源分離部３０は、マイクロホンアレイ部１０から出力された混合波の電気信号ｘ1、ｘ2（ｘ1をマイクロホン１１からの出力信号とし、ｘ2をマイクロホン１２からの出力信号とする。）および距離測定部２０から出力された距離情報を入力として、音源２０１、２０２別の音波の信号に分離して出力する（以下、音源信号分離処理という。）ための構成部である。
以下に、図面を参照して、音源分離部３０において行われる音源信号分離処理の原理について説明する。
【００２３】
音源２０１が発する音波と、音源２０２が発する音波とは、各マイクロホン１１、１２までの伝搬距離が異なるため、各マイクロホン１１、１２において異なる混合比率で混合されて受音される。説明の便宜上、以下では、各マイクロホン１１、１２の特性は同じとし、マイクロホン１１（またはマイクロホン１２）が音源２０１および音源２０２の発する音波を、音源位置で受音したときの信号を、それぞれ音源信号ｓ1、ｓ2とし、マイクロホン１１が音源２０１および音源２０２の発する音波を、マイクロホン１１の位置で受音したときの信号を混合信号ｘ1とし、マイクロホン１２の位置で受音したときの信号を混合信号ｘ2とする。
【００２４】
各マイクロホン１１、１２からの混合信号ｘ1、ｘ2は、距離（ｌ1、ｌ2、ｋ1）を用いて、以下の式（１）のように、音源信号ｓ1、ｓ2の線形結合によって概念的に記述できる。
【数１】
0003986785.tif 000002
【００２５】
そのため、原理的に、上記の混合信号ｘ1、ｘ2を用いて、線形変換によって元の音源２０１、２０２からの音源信号ｓ1、ｓ2に分離できる。その線形変換を式（２）に示す。
【数２】
0003986785.tif 000003
ここで、ｃij（ｉ，ｊ＝１，２）は混合信号ｘ1、ｘ2を用いて音源信号ｓ1、ｓ2を分離するための分離係数である。
【００２６】
距離ｋ1が既知であるため、距離ｌ1が既知の場合、音源２０１で発せられ、音波マイクロホン１とマイクロホン２とで受音される音波の混合比は、（ｌ1＋ｋ1）：ｌ1として算出される。そこで、ｃ21＝１，ｃ22＝−（ｌ1＋ｋ1）／ｌ1とを与えれば、式（１）を式（２）に代入して、式（２）の左辺（以下、出力信号という。）のｙ2には、以下の式（３）に示すように、音源信号ｓ2のみが含まれるようにすることができる。
【数３】
0003986785.tif 000004
【００２７】
次に、上記の式（２）の出力信号ｙ1と絶対値は異なるが、音源信号ｓ1、ｓ2の混合比を維持し、線形結合で表される信号を以下の式（４）に示すように得ることができる。
【数４】
0003986785.tif 000005
式（４）のｙ1は、新たに線形結合で表した出力信号であり、式（４）のｃ12は、その結合係数（以下、分離係数という。）である。
【００２８】
上記の式（３）の出力信号ｙ2には音源信号ｓ2しか含まれてないため、分離係数ｃ12を調整することによって混合信号ｘ1から音源信号ｓ2を除いて、音源信号ｓ1成分のみの式（４）の出力信号ｙ1を得ることができる。式（１）と式（４）を用いて、音源信号ｓ2が除かれて、音源信号ｓ1成分のみとなった出力信号ｙ1を以下の式（５）に示す。
【数５】
0003986785.tif 000006
【００２９】
ここで、上記の音源信号ｓ2を除いて音源信号ｓ1成分のみとする方法として、分離係数ｃ12を変化させ、分離係数ｃ12毎に出力信号ｙ1と音源信号ｓ2との相互相関を取り、相互相関の計算値が最も低くなる分離係数ｃ12における出力信号を取り出すという方法がある。これは、音源信号ｓ1と音源信号ｓ2との統計的独立性に基づくものである。以上のようにして、混合信号ｘ1、ｘ2を用いて音源信号ｓ1、音源信号ｓ2とを分離することができる。
【００３０】
図２に、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置における音源分離部３０のブロック構成を示す。図２において、音源分離部３０は、遅延部３１、フレーム分割部３２、３３、分離係数部３４〜３６、４３、加算器３７、４４、記憶部４１、４２、および適応処理部４５によって構成される。
【００３１】
遅延部３１は、マイクロホン１１で受音された混合波と、マイクロホン１２で受音された混合波とが同時刻に受音されたようにするために、混合信号ｘ1を遅延させる構成部であり、マイクロホン１１が、マイクロホン１２より音源２０１、２０２に接近して配置されるために必要となる。この遅延の時間は、マイクロホン１１とマイクロホン１２間の距離に応じて決定される。
【００３２】
フレーム分割部３２、３３は、受音して得られた混合信号ｘ1、ｘ2を所定のサンプル長のフレームに分割するための構成部であり、フレーム化された混合信号ｘ1、ｘ2は、フレーム毎に分離係数部３４〜３７に出力される。
分離係数部３４は、入力された混合信号ｘ1を分離係数ｃ11倍して記憶部４１に出力する。ここで、分離係数ｃ11の値は１であるため、分離係数部３４を省き、フレーム分割部３２と記憶部４１を直結するのでも良い。
【００３３】
分離係数部３６は、入力された混合信号ｘ1を分離係数ｃ21倍して加算器３７に出力する。ここで、分離係数ｃ21の値は１であるため、分離係数部３６を省き、フレーム分割部３２と加算器３７を直結するのでも良い。
分離係数部３５は、混合信号ｘ2と距離（ｌ1、ｋ1）に関する情報を入力とし、入力された混合信号ｘ2を分離係数ｃ22倍して記憶部４２に出力する。ここで、分離係数ｃ22は、距離（ｌ1、ｋ1）を用いて、ｃ22＝−（ｌ1＋ｋ1）／ｌ1とする。
【００３４】
加算器３７は、分離係数部３５からの出力と分離係数部３６からの出力とを加算し、上記の式（３）で示される音源信号ｓ2成分のみの出力信号ｙ2を生成し、記憶部４２に出力する。
記憶部４１、４２は、それぞれ、分離係数部３４、加算器３７からの出力を記憶し、適応処理部４５の制御に従って、記憶された信号をフレーム毎に出力する。
【００３５】
分離係数部４３は、記憶部４２から出力された音源信号ｓ2成分のみの出力信号ｙ2を分離係数ｃ12倍して加算器４４に出力する。ここで、分離係数ｃ12は、適応処理部４５の制御に従って、その値が変更される。
加算器４４は、記憶部４１から出力された混合信号ｘ1と分離係数部４３からの出力とを加算し、上記の式（５）のｙ1＝ｘ1＋ｃ12・ｙ2を生成する。
【００３６】
適応処理部４５は、分離係数ｃ12を変更し、各分離係数値での出力信号ｙ1と出力信号ｙ2との相関を取り、得られた相関係数の値が最小となる出力信号ｙ1を探す。換言すれば、混合信号ｘ1から音源信号ｓ2成分が除去されたか否かを評価するための評価関数として相関関数を用い、相関係数の値が最小となる分離係数ｃ12の値のときに混合信号ｘ1から音源信号ｓ2成分が除去されたとするものである。
【００３７】
このような相関係数の値を最小とする出力信号の探索方法の例としては、特開２００１−１８１４９９号公報に開示された、適応処理回路における処理に適用された多変数Ｓｉｍｐｌｅｘ法がある。また、最速降下法、遺伝アルゴリズムを用いた探索法等の公知の方法もあるが、それらは、本願発明の趣旨と異なるため、その説明を省略する。
【００３８】
以上のように、音源分離部３０からは、出力信号ｙ1として音源信号ｓ1成分のみの信号が出力され、出力信号ｙ2として音源信号ｓ2成分のみの信号が出力され、分離したい目的音と出力信号との対応関係が明確につけられる。また、上記の式（３）および式（５）を用いて音源信号ｓ1、ｓ2を生成することも可能である。
【００３９】
なお、本発明の第１の実施の形態においては、マイクロホンを２個使用した場合について説明したが、マイクロホンを３個以上用いた場合でも、同様に、出力信号ｙ1に音源信号ｓ1を出力することが可能である。また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合毎の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとるのでも良い。
【００４０】
以上説明したように、本発明の第１の実施の形態に係る音源分離収音マイクロホン装置は、マイクロホンから音源までの距離に関する情報を測定する距離測定部と、その距離情報を用いて用いて音源分離処理を行う音源分離部とを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することが可能となる。
【００４１】
また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとることによって、計算時間を短縮し、リアルタイムな処理が可能となる。
【００４２】
図４は、本発明の第２の実施の形態に係る音源分離収音方法における処理の流れを示すフローチャートである。なお、本発明の第２の実施の形態に係る音源分離収音方法が実行される装置の構成は、図１に示す本発明の第１の実施の形態に係る音源分離収音マイクロホン装置の構成と同じであり、その説明は省略する。
【００４３】
ステップＳ４０１で、マイクロホンアレイ部１０は、各音源２０１、２０２が発する音波が混合された混合波を収音する。
ステップＳ４０２で、距離測定部２０は、マイクロホンアレイ部１０と各音源２０１、２０２間の距離を測定し、その測定された距離に関する情報を音源分離部３０に出力する。
【００４４】
ステップＳ４０３で、音源分離部３０の遅延部３１は、マイクロホン１１で受音された混合波と、マイクロホン１２で受音された混合波とが同時刻に受音されたようにするために、混合信号ｘ1を遅延させる。
ステップＳ４０４で、フレーム分割部３２、３３は、収音して得られた混合信号ｘ1、ｘ2を所定のサンプル長のフレームに分割する。
【００４５】
ステップＳ４０５で、分離係数部３６は、入力された混合信号ｘ1を分離係数ｃ21倍し、分離係数部３５は、混合信号ｘ2と距離（ｌ1、ｋ1）に関する情報を入力とし、入力された混合信号ｘ2を分離係数ｃ22倍し、加算器３７は、分離係数部３５からの出力と分離係数部３６からの出力とを加算し、上記の式（３）で示される音源信号ｓ2成分のみの出力信号ｙ2を生成する。なお、ここで、分離係数ｃ21は、１とする。
【００４６】
ステップＳ４０６で、適応処理部４５は、分離係数ｃ12を設定する。本ステップで、最初に分離係数ｃ12を設定する場合は、予め決められた値を設定しても良い。また、２回目以降に設定する場合は、適応処理部４５を、後述する出力信号間の相関係数の値が最小化するように設定する。
【００４７】
ステップＳ４０７で、分離係数部４３は、記憶部４２から出力された音源信号ｓ2成分のみの出力信号ｙ2を分離係数ｃ12倍し、加算器４４は、混合信号ｘ1と分離係数部４３からの出力とを加算し、上記の式（５）のｙ1＝ｘ1＋ｃ12・ｙ2を生成する。
ステップＳ４０８で、適応処理部４５は、出力信号ｙ1と出力信号ｙ2との相関を取る。
【００４８】
ステップＳ４０９で、適応処理部４５は、ステップＳ４０８で算出した相関係数の値が最小か否かを判断し、最小値でないと判断された場合、処理はステップＳ４０６に戻り、最小値と判断された場合は、処理はステップＳ４１０に進み、ステップＳ４１０で出力信号ｙ1、ｙ2を出力して処理は終了する。
ステップＳ４０９で最小値でないと判断された場合、ステップＳ４０６で、適応処理部４５は、上記の相関係数の値を最小化する値に分離係数ｃ12を設定する。
【００４９】
このような相関値を最小とする出力信号の探索方法の例としては、特開２００１−１８１４９９号公報に開示された、適応処理回路における処理に適用された多変数Ｓｉｍｐｌｅｘ法、最速降下法、遺伝アルゴリズムを用いた探索法等の公知の方法があり、それらは、本願発明の趣旨と異なるため、その説明を省略する。
【００５０】
以上のように、音源分離収音マイクロホン装置１００からは、出力信号ｙ1として音源信号ｓ1成分のみの信号が出力され、出力信号ｙ2として音源信号ｓ2成分のみの信号が出力され、分離したい目的音と出力信号との対応関係が明確につけられる。また、上記の式（３）および式（５）を用いて音源信号ｓ1、ｓ2を生成することも可能である。
【００５１】
以上説明したように、本発明の第２の実施の形態に係る音源分離収音方法は、マイクロホンから音源までの距離に関する情報を測定するためのステップと、その距離情報を用いて用いて音源分離処理を行うためのステップとを設けたことによって、目的とする音源が発する音波の信号と不要な雑音とを分離して出力することが可能となる。
【００５２】
また、マイクロホンの個数と音源の個数、およびそれらの考えられる全ての場合の距離関係から分離係数をあらかじめ計算して記憶装置に記録し、値を参照して分離係数を求める手法をとることによって、計算時間を短縮し、リアルタイムな処理が可能となる。
【００５３】
【発明の効果】
以上説明したように、本発明は、同一方向から到来する目的音と雑音を分離して収音することができ、所望の出力に目的音を特定して出力することが可能な音源分離収音マイクロホン装置および方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る音源分離収音マイクロホン装置のブロック構成図である。
【図２】本発明の第１の実施の形態に係る音源分離収音マイクロホン装置における音源分離部のブロック構成図である。
【図３】マイクロホン、音源相互の位置関係を示す説明図である。
【図４】本発明の第２の実施の形態に係る音源分離収音方法における処理の流れを示すフローチャートである。
【符号の説明】
１０  マイクロホンアレイ部
１１、１２  マイクロホン
２０  距離測定部
３０  音源分離部
３１  遅延部
３２、３３  フレーム分割部
３４〜３６、４３  分離係数部
３７、４４  加算器
４１、４２  記憶部
４５  適応処理部
１００  音源分離収音マイクロホン装置
２０１、２０２  音源
【図１】
0003986785.tif 000007
【図２】
0003986785.tif 000008
【図３】
0003986785.tif 000009
【図４】
0003986785.tif 000010