(57)【要約】【課題】  より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法を提供することができる。【解決手段】  本発明は収音装置に関する。そして、本発明の収音装置は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれのマイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、それぞれのマイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかのマイクロホンアレイの入力信号を混合信号として選択する選択手段と、目的エリア音抽出手段で抽出された目的エリア音に選択手段で選択されたマイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、選択手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。【選択図】      図１
2020036139.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段と
を有することを特徴とする収音装置。
【請求項２】
前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択することを特徴とする請求項１に記載の収音装置。
【請求項３】
前記目的エリア音抽出手段は、いずれかの前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項１又は２に記載の収音装置。
【請求項４】
前記目的エリア音抽出手段は、前記選択手段が選択した入力信号に係る前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項３に記載の収音装置。
【請求項５】
コンピュータを、
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段と
して機能させることを特徴とする収音プログラム。
【請求項６】
収音装置が行う収音方法において、
目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、
前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、
前記選択手段は、それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択し、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合し、
前記出力手段は、前記選択手段が混合した混合後信号を出力する
ことを特徴とする収音方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、収音装置、プログラム及び方法に関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。
【背景技術】
【０００２】
複数の音源が存在する環境下において、ある特定方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ（Ｂｅａｍ  Ｆｏｒｍｅｒ；以下「ＢＦ」とも呼ぶ）がある。ＢＦとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。
【０００３】
従来、ＢＦは、加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型即に比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
【０００４】
図４は、マイクロホンＭの数が２個の場合の減算型ＢＦ２００に係る構成を示すブロック図である。
【０００５】
図５は、２個のマイクロホンＭ１、Ｍ２を用いた減算型ＢＦ２００により形成される指向性フィルタの例について示した説明図である。
【０００６】
減算型ＢＦ２００は、まず遅延器２１０により目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンＭ１、Ｍ２に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。上述の時間差は以下の（１）式により算出することができる。
【０００７】
ここで、ｄはマイクロホンＭ１、Ｍ２間の距離、ｃは音速、τｉは遅延量である。またθＬは、各マイクロホンＭ（Ｍ１、Ｍ２）を結んだ直線に対する垂直方向から目的方向への角度である。また、ここで、死角がマイクロホンＭ１とＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、遅延器２１０は、マイクロホンＭ１の入力信号ｘ１（ｔ）に対し遅延処理を行う。
【０００８】
その後、減算型ＢＦ２００では、以下の（２）式に従い処理（減算処理）を行う。減算型ＢＦ２００の処理は周波数領域でも同様に行うことができ、その場合（２）式は以下の（３）式のように変更される。
【数１】
2020036139.tif 000003
【０００９】
ここでθＬ＝±π／２の場合、減算型ＢＦ２００により形成される指向性は図５(ａ)に示すように、カージオイド型の単一指向性となる。また、「θＬ＝０，π」の場合、減算型ＢＦ２００により形成される指向性は、図５(ｂ)のような８の字型の双指向性となる。
【００１０】
以下では、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。
【００１１】
また、減算器２２０では、スペクトル減算法（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ；以下、単に、「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、以下の（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。
【００１２】
以下の（４）式では、マイクロホンＭ１の入力信号Ｘ１を用いているが、マイクロホンＭ２の入力信号Ｘ２でも同様の効果を得ることができる。ここでβは、ＳＳの強度を調節するための係数である。また、減算器２２０では、減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。以上のような減算型ＢＦ２００の処理方式では、双指向性の特性によって目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
【数２】
2020036139.tif 000004
【００１３】
ある特定のエリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源の音（以下、「非目的エリア音」と呼ぶ）も収音してしまう可能性がある。そこで、特許文献１では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアヘ指向性を向けレ指向性を目的エリアで交差させることで目的エリア音を収音する手法（以下、「エリア収音」と呼ぶ）を提案している。エリア収音では、まず各マイクロホンアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。
【００１４】
例えば、２つのマイクロホンアレイを使用する場合、目的エリア音振幅スペクトルの補正係数は、以下の（５）式及び（６）式の組み合わせ、又は以下の（７）式及び（８）式の組み合わせにより算出することができる。ここで、Ｙ１ｋ（ｎ）は第１のマイクロホンアレイのＢＦ出力の振幅スペクトルであり、Ｙ２ｋ（ｎ）は第２のマイクロホンアレイのＢＦ出力の振幅スペクトルであり、Ｎは周波数ビンの総数であり、ｋは周波数である。また、ここで、α１（ｎ）、α２（ｎ）はそれぞれ各ＢＦ出力に対する振幅スペクトル補正係数である。さらに、ここで、ｍｏｄｅは最頻値を表し、ｍｅｄｅｉａｎは中央値を表している。
【数３】
2020036139.tif 000005
【００１５】
以上の処理により、減算器２２０は、補正係数α１（ｎ）、α２（ｎ）を求め、求めた補正係数により各ＢＦ出力を補正し、ＳＳすることで、目的エリア方向に存在する非目的エリア音を抽出する。さらに、減算器２２０は、抽出した非目的エリア音を各ＢＦの出力からＳＳすることにより目的エリア音を抽出することができる。
【００１６】
減算型ＢＦ２００は、第１のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音Ｎ１（ｎ）を抽出する際、例えば、（９）式に示すように、第１のマイクロホンアレイのＢＦ出力Ｙ１（ｎ）から第２のマイクロホンアレイのＢＦ出力Ｙ２（ｎ）に振幅スペクトル補正係数α２を掛けたものをＳＳする。減算型ＢＦ２００は、同様に、以下の（１０）式に従い、第２のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音Ｎ２（ｎ）を抽出する。
【００１７】
その後、減算型ＢＦ２００は、以下の（１１）式、又は（１２）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。なお、以下の（１１）式は、第１のマイクロホンアレイを基準として、目的エリア音を抽出する場合の処理を示している。また、以下の（１２）式は、第２のマイクロホンアレイを基準として目的エリア音を抽出する場合の処理を示している。ここでγ１（ｎ）、γ２（ｎ）は、ＳＳ時の強度を変更するための係数である。
【数４】
2020036139.tif 000006
【００１８】
ところで、背景雑音や非目的エリア音の音量レベルが大きい場合、目的エリア音抽出の際に行うＳＳにより、目的エリア音が歪んだり、ミュージカルノイズという耳障りな異音が発生する可能性がある。
【００１９】
そこで、特許文献３の手法では、背景雑音と非目的エリア音の大きさに応じて、マイクの入力信号と推定雑音の音量レベルをそれぞれ調節し、抽出した目的エリア音に混合している。
【００２０】
目的エリア音を抽出する処理により発生するミュージカルノイズは、背景雑音と非目的エリア音の音量レベルが大きいほど強くなるため、特許文献３の手法では、混合する入力信号と推定雑音の総和の音量レベルも、背景雑音と非目的エリア音の音量レベルに比例して大きくしている。
【００２１】
具体的には、特許文献３の手法において、背景雑音の音量レベルは、背景雑音を抑圧する過程で求める推定雑音から算出する。また、特許文献３の手法では、非目的エリア音の音量レベルは、目的エリア音を強調する過程で抽出する目的エリア方向に存在する非目的エリア音と、目的エリア方向以外に存在する非目的エリア音を合わせたものから算出する。さらに、特許文献３の手法では、混合する入力信号と推定雑音の比率は、推定雑音と非目的エリア音の音量レベルから決定する。
【００２２】
目的エリアの近くに非目的エリア音が存在する場合、混合する入力信号の音量レベルが大きすぎると目的エリア音に非目的エリア音が混入し、どちらが目的エリア音なのかが分からなくなってしまう。そこで、特許文献３の手法では、非目的エリア音が大きいときは混合する入力信号の音量レベルを下げ、推定雑音の音量レベルを大きくして混合する。つまり、特許文献３の手法では、非目的エリア音が存在しないか音量レベルが小さい場合は入力信号の割合を多くし、逆に非目的エリア音の音量レベルが大きい場合推定雑音の割合を多くして混合する。
【００２３】
このように特許文献３の手法を用いれば、目的エリア音に入力信号及び推定雑音を混合することにより、ミュージカルノイズをマスキングし、通常の背景雑音のように違和感なく聞かせることができる。さらに、特許文献３の手法では、マイク入力信号に含まれる目的エリア音の成分により、目的エリア音の歪みを補正し、音質を改善することができる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２０１４−７２７０８号公報
【特許文献２】特開２００５−１９５９５５号公報
【特許文献３】特開２０１７−１８３９０２号公報
【非特許文献】
【００２５】
【非特許文献１】浅野太著，“音響テクノロジーシリーズ１６  音のアレイ信号処理−音源の定位・追跡と分離−”，日本音響学会編，コロナ社，２０１１年２月２５日発行
【発明の概要】
【発明が解決しようとする課題】
【００２６】
しかしながら、特許文献３の手法では、目的エリアの近くに非目的エリア音が存在する場合、混合する入力信号のレベルを下げるため、非目的エリア音の混入は抑えることができるが、目的エリア音の歪みを改善する効果は低くなってしまう。
【００２７】
そのため、より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法が望まれている。
【課題を解決するための手段】
【００２８】
第１の本発明の収音装置は、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、（３）前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、（４）前記選択手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。
【００２９】
第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、（３）前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、（４）前記選択手段が混合した混合後信号を出力する出力手段として機能させることを特徴とする。
【００３０】
第３の本発明は、収音装置が行う収音方法において、（１）目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、（２）前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、（３）前記選択手段は、それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択し、（４）前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合し、（５）前記出力手段は、前記選択手段が混合した混合後信号を出力することを特徴とする。
【発明の効果】
【００３１】
本発明によれば、より少ない歪みの目的エリア音を収音する収音装置、プログラム及び方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施形態に係る収音装置の機能的構成について示したブロック図である。
【図２】第１の実施形態の効果について示した説明図である。
【図３】第２の実施形態に係る収音装置の機能的構成について示したブロック図である。
【図４】従来のマイクロホン数が２個の場合の減算型ＢＦに係る構成を示すブロック図である。
【図５】従来の２個のマイクロホンを用いた減算型ＢＦにより形成される指向特性を示す図である。
【発明を実施するための形態】
【００３３】
（Ａ）第１の実施形態
以下、本発明による収音装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。
【００３４】
（Ａ−１）第１の実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。
【００３５】
収音装置１００は、２つのマイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
【００３６】
マイクロホンアレイＭＡ１、ＭＡ２は、目的エリアが存在する空間の任意の場所に配置される。目的エリアに対するマイクロホンアレイＭＡ１、ＭＡ２の位置は、指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイＭＡは２つ以上のマイクロホンＭから構成され、各マイクロホンＭにより音響信号を収音する。この実施形態では、各マイクロホンアレイＭＡに、音響信号を収音する２つのマイクロホンＭ（Ｍ１、Ｍ２）が配置されるものとして説明する。すなわち、各マイクロホンアレイＭＡは、２ｃｈマイクロホンアレイを構成している。なお、マイクロホンアレイＭＡの数は２つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイＭＡを配置する必要がある。
【００３７】
収音装置１００は、信号入力部１０１、雑音抑圧部１０２、指向性形成部１０３、遅延補正部１０４、空間座標データ１０５、補正係数算出部１０６、目的エリア音抽出部１０７、混合信号選択部１０８、信号混合部１０９、及び信号出力部１１０を備える。
【００３８】
収音装置１００を構成する各機能ブロックの詳細処理については後述する。
【００３９】
収音装置１００は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１００は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の判定プログラムや収音プログラムを含む）をインストールすることにより構成するようにしてもよい。
【００４０】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１００の動作（実施形態に係る収音方法）を説明する。
【００４１】
信号入力部１０１は、各マイクロホンアレイで収音した音響信号をアナログ信号からデジタル信号に変換し入力する。その後、例えば高速フーリエ変換を用いて時間領域から周波数領域へ変換する。
【００４２】
雑音抑圧部１０２は、信号入力部１０１で取得した信号に含まれる背景雑音の成分を推定し、抑圧する。雑音抑圧部１０２による雑音抑圧には、例えば、ＳＳやウィーナーフィルタリング法（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒｉｎｇ）などを用いることができる。
【００４３】
指向性形成部１０３は、マイクロホンアレイ毎に雑音抑圧部により背景雑音を抑圧した信号に対し、（４）式に従いＢＦにより目的エリア方向に指向性を形成する。
【００４４】
遅延補正部１０４は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する。遅延補正部１０４は、まず空間座標データ１０５から目的エリアの位置と各マイクロホンアレイの位置を取得し、各マイクロホンアレイヘの目的エリア音の到達時間の差を算出する。次に最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
【００４５】
空間座標データ１０５は、全ての目的エリアと各マイクロホンアレイと各マイクロホンアレイを構成するマイクロホンの位置情報を保持している。空間座標データ１０５が各マイクロホンアレイの各マイクロホンの位置情報を保持する方法や、空間座標データ１０５が保持する位置情報の具体的な形式は限定されないものであり、種々のデータ形式を適用することができる。
【００４６】
補正係数算出部１０６は、各ＢＦ出力に含まれる目的エリア音成分の振幅スペクトルを同じにするための補正係数を（５）、（６）式または（７）、（８）式に従い算出する。
【００４７】
目的エリア音抽出部１０７は、補正係数算出部５で算出した補正係数により補正した各ＢＦ出力データを（９）、もしくは（１０）式に従いＳＳし、目的エリア方向に存在する非目的エリア音を抽出する。さらに抽出した雑音を各ＢＦの出力から（１Ｏ）、もしくは（１１）式に従いＳＳすることにより目的エリア音を抽出する。
【００４８】
混合信号選択部１０８は、各マイクロホンアレイを構成するマイクロホンの入力信号の中で、最も平均振幅スペクトルが小さい信号を、混合信号として選択する。２ｃｈのマイクロホンアレイＭＡ１、ＭＡ２を用いエリア収音を行う場合、混合信号選択部１０８では、以下の（１３）式、（１４）式に従った処理により混合信号ＸＭＩＸ（ｎ）を選択することができる。
【００４９】
なお、以下の数式以外の文章部分（テキスト部分）では、使用可能な文字（記号）の都合上、（１３）式等の数式における「Ｘ」に上線（オーバーライン；バー）が付された記号を「＾Ｘ」と書き換えて記載するものとする。例えば、以下の（１３）式は、「＾Ｘｉｊ（ｎ）＝ｍｉｎ（＾Ｘ１１（ｎ）、＾Ｘ１２（ｎ）、＾Ｘ２１（ｎ）、＾Ｘ２２（ｎ））」と書き換えて記載される。
【００５０】
ここで、＾Ｘ１１（ｎ）、＾Ｘ１２（ｎ）は、それぞれマイクロホンアレイＭＡ１を構成するマイクロホンＭ１、Ｍ２の入力信号（Ｘ１１（ｎ）、Ｘ１２（ｎ））の平均振幅スペクトルである。また、＾Ｘ２１（ｎ）、＾Ｘ２２（ｎ）は、それぞれマイクロホンアレイＭＡ２を構成するマイクロホンＭ１、Ｍ２の入力信号（Ｘ２１（ｎ）、Ｘ２２（ｎ））の平均振幅スペクトルである。さらに、iはマイクロホンアレイの番号（識別子）であり、jはマイクロホンアレイを構成するマイクロホンの番号（識別子）である。ここでは、マイクロホンアレイＭＡ１の番号を１、マイクロホンアレイＭＡ２の番号を２と表すものとする。また、ここでは、マイクロホンＭ１の番号を１、マイクロホンＭ２の番号を２と表すものとする。
【数５】
2020036139.tif 000007
【００５１】
なお、混合信号選択部１０８において、混合信号としてＸ１１（ｎ）もしくはＸ１２（ｎ）が選択された場合、混合信号は、以下の（１５）式のように、マイクロホンアレイを構成するマイクロホンの入力信号の加算平均としても良い。なお平均振幅スペクトルは、全帯域ではなく、周波数の上限と下限を設けて帯域制限しても良い。
【数６】
2020036139.tif 000008
【００５２】
信号混合部１０９は、目的エリア音抽出部１０７で抽出した目的エリア音に、混合信号選択部１０８で選択した入力信号を混合する。例えば、信号混合部１０９が、式（１１）に従いマイクロホンアレイＭＡ１を基準としてエリア収音を行う場合、最終的な出力Ｗ１（ｎ）は以下の（１６）式に従い混合される。ここで、μは混合する信号の大きさを調整するパラメータである。
【数７】
2020036139.tif 000009
【００５３】
信号混合部１０９では、混合を行った出力信号に位相を復元する際、位相情報としては、目的エリア音抽出部１０７において基準としたマイクロホンアレイを構成するマイクロホンの入力信号の加算平均、もしくはどれか１つのマイクロホンの入力信号を使用するようにしてもよい。また、信号混合部１０９では、混合信号として選択した入力信号の位相を使用しても良い。
【００５４】
例えば、信号混合部１０９において、（１１）式により目的エリア音を抽出した場合、マイクロホンアレイＭＡ１を基準としている。したがって、信号混合部１０９は、入力信号Ｘ１１（ｎ）とＸ１２（ｎ）の加算平均、又は、Ｘ１１（ｎ）若しくはＸ１２（ｎ）どちらかの位相情報を用いて、出力信号に位相を復元するようにしてもよい。
【００５５】
さらに、信号混合部１０９において、信号の混合処理は、目的エリア音と混合信号の振幅スペクトルにそれぞれ位相情報を復元した後に行っても良い。この場合、信号混合部１０９では、位相復元に使用する情報は目的エリア音と混合信号で別々にすることができる。例えば、信号混合部１０９では、目的エリア音には、目的エリア音抽出部１０７において基準としたマイクロホンアレイを構成するマイクロホンの入力信号の加算平均、もしくは基準としたマイクロホンアレイを構成するマイクロホンの内どれか１つの入力信号を適用し、混合信号には、混合信号として選択した入力信号の位相を使用するようにしてもよい。
【００５６】
信号出力部１１０は、信号混合部１０９において処理した出力信号を、周波数領域から時間領域へ変換し、出力する。
【００５７】
以上のように、混合信号選択部１０８は、混合信号として、エリア収音に使用する全マイクロホンの入力信号の平均振幅スペクトルを比較し、最も平均振幅スペクトルが小さい信号を選択する。さらに、第１の実施形態では、特定のエリアを収音する場合、マイクロホンアレイを収音エリアの周囲に設置することが望ましい。
【００５８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００５９】
第１の実施形態の収音装置１００では、各マイクロホンアレイの入力信号の中で、最も平均振幅スペクトルの小さいものを混合信号として選択することで、目的エリアの近くに非目的エリア音が存在する場合においても、混合後の非目的エリア音の混入を抑え、目的エリア音の歪みを改善することができる。
【００６０】
図２は、各マイクロホンアレイの位置と、各音源の位置（目的エリア音及び非目的エリア音の音源の位置）との関係について示した説明図（イメージ図である）である。
【００６１】
第１の実施形態において、各マイクロホンアレイから収音エリアの中心までは等距離であるものとすると、目的エリア音は、各マイクロホンアレイを構成するマイクロホン全てに同じ音量で入力される（図２（ａ）参照）。一方、非目的エリア音が存在する位置は、各マイクロホンアレイからの距離が異なる。そのため、各マイクロホンアレイの信号に含まれる非目的エリア音の音量は、距離減衰によって違う大きさとなる。また、１つのマイクロホンアレイを構成する各マイクロホンにおいても、非目的エリア音がマイクロホンアレイの正面以外に存在する場合、非目的エリア音と各マイクロホンとの距離が違うため、音量に差が生じる（図２（ｂ）参照）。つまり、非目的エリア音から最も遠い位置にあるマイクロホンの入力信号は、含まれる非目的エリア音が最も小さくなる。目的エリア音は、全てのマイクロホンに同じ音量で含まれているので、全マイクロホンの中で１番平均振幅スペクトルが小さい入力信号は、ＳＮ比が最も高いことになる。そのため、第１の実施形態では、目的エリアの近くに非目的エリア音が存在する場合においても、混合後の非目的エリア音の混入を抑え、目的エリア音の歪みを改善するという効果を奏することができる。
【００６２】
（Ｂ）第２の実施形態
以下、本発明による収音装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。
【００６３】
（Ｂ−１）第２の実施形態の構成
図３は、第２の実施形態の収音装置１００Ａに係る機能的構成について示したブロック図であり、上述の図１と同一部分又は対応部分については同一符号又は対応符号を付している。
【００６４】
以下では、第２の実施形態について第１の実施形態との差異を説明する。
【００６５】
第２の実施形態の収音装置１００Ａでは、マイクロホンアレイ選択部１１が追加されている点で第１の実施形態と異なっている。また、第２の実施形態の収音装置１００Ａでは、目的エリア音抽出部１０７が、目的エリア音抽出部１０７Ａに置き換わっている点で第１の実施形態と異なっている。さらに、第２の実施形態では、混合信号選択部１０８の処理結果がマイクロホンアレイ選択部１１１及び目的エリア音抽出部１０７Ａに供給される点で第１の実施形態と異なっている。
【００６６】
収音装置１００Ａを構成する各機能ブロックの詳細処理については後述する。
【００６７】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の収音装置１００Ａの動作（実施形態に係る収音方法）について、第１の実施形態との差異を中心に説明する。
【００６８】
マイクロホンアレイ選択部１１１は、混合信号選択部１０８によって選択された混合信号によって、目的エリア音抽出部１０７において基準とするマイクロホンアレイ（ＭＡ１又はＭＡ２）を選択する。
【００６９】
例えば、マイクロホンアレイ選択部１１１が、混合信号としてマイクロホンアレイＭＡ１を構成するマイクロホンの入力信号Ｘ１１（ｎ）を選択した場合、基準となるマイクロホンアレイとして、マイクロホンアレイＭＡ１が選択されたことになる。この場合、目的エリア音抽出部１０７Ａ、では（１１）式に従って目的エリア音を抽出することになる。
【００７０】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態と比較して以下のような効果を奏することができる。
【００７１】
第２の実施形態では、目的エリア音抽出部１０７Ａが、混合信号選択部１０８によって選択された混合信号の供給元となるマイクロホンアレイ（マイクロホンアレイ選択部１１１が選択したマイクロホンアレイ）を基準とした目的エリア音の抽出処理を行う。これにより、第２の実施形態の収音装置１００Ａでは、混合信号と目的エリア音抽出処理で用いる信号の供給元（供給元のマイクロホンアレイ）が一致するため、目的エリア音の歪みをより改善するという効果を奏することができる。
【００７２】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００７３】
（Ｃ−１）上記の各実施形態の収音装置では、収音に用いる各マイクロホンアレイＭＡのマイクロホンの数は２つであったが、３つ以上のマイクを用いて収音した音響信号に基づいて目的エリア方向の音を収音するようにしてもよい。上記の各実施形態において、適用するマイクロホンアレイＭＡ毎のマイクロホンの数や目的音方向の音を収音する方式については、既存の種々の方式を適用することができる。
【符号の説明】
【００７４】
１００…収音装置、Ｍ１、Ｍ２…マイクロホン、ＭＡ１、ＭＡ２…マイクロホンアレイ、１０１…信号入力部、１０２…雑音抑圧部、１０３…指向性形成部、１０４…遅延補正部、１０５…空間座標データ、１０６…補正係数算出部、１０７…目的エリア音抽出部、１０８…混合信号選択部、１０９…信号混合部、１１０…信号出力部。
【図１】
2020036139.tif 000010
【図２】
2020036139.tif 000011
【図３】
2020036139.tif 000012
【図４】
2020036139.tif 000013
【図５】
2020036139.tif 000014
【手続補正書】
【提出日】令和1年10月4日(2019.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段とを有し、
前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択する
ことを特徴とする収音装置。
【請求項２】
前記目的エリア音抽出手段は、いずれかの前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項１に記載の収音装置。
【請求項３】
前記目的エリア音抽出手段は、前記選択手段が選択した入力信号に係る前記マイクロホンアレイのビームフォーマ出力を基準として目的エリア音を抽出する処理を行うことを特徴とする請求項２に記載の収音装置。
【請求項４】
コンピュータを、
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、
前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、
前記選択手段が混合した混合後信号を出力する出力手段として機能させ、
前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択する
ことを特徴とする収音プログラム。
【請求項５】
収音装置が行う収音方法において、
目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、
前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、
前記選択手段は、それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択し、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合し、
前記出力手段は、前記選択手段が混合した混合後信号を出力し、
前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択する
ことを特徴とする収音方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
第１の本発明の収音装置は、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、（３）前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、（４）前記選択手段が混合した混合後信号を出力する出力手段とを有し、（５）前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択する選択手段と、（３）前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合する信号混合手段と、（４）前記選択手段が混合した混合後信号を出力する出力手段として機能させ、（５）前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
第３の本発明は、収音装置が行う収音方法において、（１）目的エリア音抽出手段、選択手段、信号混合手段、出力手段を備え、（２）前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、（３）前記選択手段は、それぞれの前記マイクロホンアレイの入力信号の平均振幅スペクトルを比較した結果に基づいていずれかの前記マイクロホンアレイの入力信号を混合信号として選択し、（４）前記信号混合手段は、前記目的エリア音抽出手段で抽出された目的エリア音に前記選択手段で選択された前記マイクロホンアレイの入力信号を混合信号として混合し、（５）前記出力手段は、前記選択手段が混合した混合後信号を出力し、（６）前記選択手段は、複数の前記マイクロホンアレイの入力信号の中で平均振幅スペクトルが最小の信号を前記混合信号として選択することを特徴とする。