(57)【要約】【課題】  エリア収音処理により失われる高帯域の成分を回復し、音質を改善する。【解決手段】  本発明は収音装置に関する。そして、本発明の収音装置は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれのマイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、入力信号に基づく信号であって、目的エリア音抽出手段が抽出する目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、目的エリア音抽出手段で抽出された目的エリア音に混合信号取得手段が取得した混合信号を混合する信号混合手段と、信号混合手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。【選択図】      図１
2020039055.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、
前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、
前記信号混合手段が混合した混合後信号を出力する出力手段と
を有することを特徴とする収音装置。
【請求項２】
前記信号混合手段は、前記目的エリア音抽出手段が抽出する前記目的エリア音を、前記混合信号取得手段が取得した前記混合信号と同じサンプリング周波数とするアップサンプリング処理を施してから前記混合信号と混合することを特徴とする請求項１に記載の収音装置。
【請求項３】
前記混合信号取得手段が取得した前記混合信号の一部の周波数帯の成分を選択して抽出するフィルタ処理を施したフィルタ処理済混合信号を取得する混合帯域選択手段をさらに備え、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に、前記混合帯域選択手段が抽出した前記フィルタ処理済混合信号を混合する
ことを特徴とする請求項１又は２に記載の収音装置。
【請求項４】
コンピュータを、
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、
前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、
前記信号混合手段が混合した混合後信号を出力する出力手段と
して機能させることを特徴とする収音プログラム。
【請求項５】
収音装置が行う収音方法において、
目的エリア音抽出手段、混合信号取得手段、信号混合手段、及び出力手段を有し、
前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、
前記混合信号取得手段は、前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得し、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合し、
前記出力手段は、前記信号混合手段が混合した混合後信号を出力する
ことを特徴とする収音方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、収音装置、プログラム及び方法に関し、例えば、特定のエリアの音を強調し、それ以外のエリアの音を抑制するシステムに適用し得る。
【背景技術】
【０００２】
複数の音源が存在する環境下において、ある特定方向の音のみ分離し収音する技術として、マイクロホンアレイを用いたビームフォーマ（Ｂｅａｍ  Ｆｏｒｍｅｒ；以下「ＢＦ」とも呼ぶ）がある。ＢＦとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である（非特許文献１参照）。
【０００３】
従来、ＢＦは、加算型と減算型の大きく２つの種類に分けられる。特に減算型ＢＦは、加算型即に比べ、少ないマイクロホン数で指向性を形成できるという利点がある。
【０００４】
図３は、マイクロホンＭの数が２個の場合の減算型ＢＦ２００に係る構成を示すブロック図である。
【０００５】
図４は、２個のマイクロホンＭ１、Ｍ２を用いた減算型ＢＦ２００により形成される指向性フィルタの例について示した説明図である。
【０００６】
減算型ＢＦ２００は、まず遅延器２１０により目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンＭ１、Ｍ２に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。上述の時間差は以下の（１）式により算出することができる。
【０００７】
ここで、ｄはマイクロホンＭ１、Ｍ２間の距離、ｃは音速、τｉは遅延量である。またθＬは、各マイクロホンＭ（Ｍ１、Ｍ２）を結んだ直線に対する垂直方向から目的方向への角度である。
【０００８】
また、ここで、死角がマイクロホンＭ１とＭ２の中心に対し、マイクロホンＭ１の方向に存在する場合、遅延器２１０は、マイクロホンＭ１の入力信号ｘ１（ｔ）に対し遅延処理を行う。その後、減算型ＢＦ２００では、以下の（２）式に従い減算器２２０が処理（減算処理）を行う。
【０００９】
減算型ＢＦ２００の処理は周波数領域でも同様に行うことができ、その場合（２）式は以下の（３）のように変更される。
【数１】
2020039055.tif 000003
【００１０】
ここでθＬ＝±π／２の場合、減算型ＢＦ２００により形成される指向性は図４(ａ)に示すように、カージオイド型の単一指向性となる。また、「θＬ＝０，π」の場合、減算型ＢＦ２００により形成される指向性は、図４(ｂ)のような８の字型の双指向性となる。
【００１１】
以下では、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを双指向性フィルタと呼ぶものとする。
【００１２】
また、減算器２２０では、スペクトル減算法（Ｓｐｅｃｔｒａｌ  Ｓｕｂｔｒａｃｔｉｏｎ；以下、単に、「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、以下の（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。
【００１３】
以下の（４）式では、マイクロホンＭ１の入力信号Ｘ１を用いているが、マイクロホンＭ２の入力信号Ｘ２でも同様の効果を得ることができる。ここでβは、ＳＳの強度を調節するための係数である。また、減算器２２０では、減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行う。以上のような減算型ＢＦ２００の処理方式では、双指向性の特性によって目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
【数２】
2020039055.tif 000004
【００１４】
ある特定のエリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアの周囲に存在する音源の音（以下、「非目的エリア音」と呼ぶ）も収音してしまう可能性がある。そこで、特許文献１では、複数のマイクロホンアレイを用い、それぞれ別々の方向から目的エリアヘ指向性を向けレ指向性を目的エリアで交差させることで目的エリア音を収音する手法（以下、「エリア収音」と呼ぶ）を提案している。エリア収音では、まず各マイクロホンアレイのＢＦ出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。
【００１５】
例えば、２つのマイクロホンアレイを使用する場合、目的エリア音振幅スペクトルの補正係数は、以下の（５）式及び（６）式の組み合わせ、又は以下の（７）式及び（８）式の組み合わせにより算出することができる。ここで、Ｙ１ｋ（ｎ）は第１のマイクロホンアレイのＢＦ出力の振幅スペクトルであり、Ｙ２ｋ（ｎ）は第２のマイクロホンアレイのＢＦ出力の振幅スペクトルであり、Ｎは周波数ビンの総数、ｋは周波数である。また、ここで、α１（ｎ）、α２（ｎ）は各ＢＦ出力に対する振幅スペクトル補正係数である。さらに、ここで、ｍｏｄｅは最頻値、ｍｅｄｅｉａｎは中央値を表している。
【数３】
2020039055.tif 000005
【００１６】
以上の処理により、減算器２２０は、補正係数α１（ｎ）、α２（ｎ）を求め、求めた補正係数により各ＢＦ出力を補正し、ＳＳすることで、目的エリア方向に存在する非目的エリア音を抽出する。さらに、減算器２２０は、抽出した非目的エリア音を各ＢＦの出力からＳＳすることにより目的エリア音を抽出することができる。
【００１７】
第１のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音Ｎ１（ｎ）を抽出するには、（９）式に示すように、第１のマイクロホンアレイのＢＦ出力Ｙ１（ｎ）から第２のマイクロホンアレイのＢＦ出力Ｙ２（ｎ）に振幅スペクトル補正係数α２を掛けたものをＳＳする。同様に、以下の（１０）式に従い、第２のマイクロホンアレイからみた目的エリア方向に存在する非目的エリア音Ｎ２（ｎ）を抽出する。
【００１８】
その後、減算型ＢＦ２００は、以下の（１１）式、又は（１２）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。なお、以下の（１１）式は、第１のマイクロホンアレイを基準として、目的エリア音を抽出する場合の処理を示している。また、以下の（１２）式は、第２のマイクロホンアレイを基準として目的エリア音を抽出する場合の処理を示している。ここでγ１（ｎ）、γ２（ｎ）は、ＳＳ時の強度を変更するための係数である。
【数４】
2020039055.tif 000006
【００１９】
ところで、背景雑音や非目的エリア音の音量レベルが大きい場合、目的エリア音抽出の際に行うＳＳにより、目的エリア音が歪んだり、ミュージカルノイズという耳障りな異音が発生する可能性がある。
【００２０】
そこで、特許文献２の手法では、背景雑音と非目的エリア音の大きさに応じて、マイクの入力信号と推定雑音の音量レベルをそれぞれ調節し、抽出した目的エリア音に混合している。
【００２１】
目的エリア音を抽出する処理により発生するミュージカルノイズは、背景雑音と非目的エリア音の音量レベルが大きいほど強くなるため、混合する入力信号と推定雑音の総和の音量レベルも、背景雑音と非目的エリア音の音量レベルに比例して大きくする。
【００２２】
そこで、特許文献２の手法では、背景雑音の音量レベルは、背景雑音を抑圧する過程で求める推定雑音から算出する。また、特許文献２の手法では、非目的エリア音の音量レベルは、目的エリア音を強調する過程で抽出する目的エリア方向に存在する非目的エリア音と、目的エリア方向以外に存在する非目的エリア音を合わせたものから算出する。さらに、特許文献２の手法では、混合する入力信号と推定雑音の比率は、推定雑音と非目的エリア音の音量レベルから決定する。
【００２３】
目的エリアの近くに非目的エリア音が存在する場合、混合する入力信号の音量レベルが大きすぎると目的エリア音に非目的エリア音が混入し、どちらが目的エリア音なのかが分からなくなってしまう。そこで、特許文献２の手法では、非目的エリア音が大きいときは混合する入力信号の音量レベルを下げ、推定雑音の音量レベルを大きくして混合する。つまり、特許文献２の手法では、非目的エリア音が存在しないか音量レベルが小さい場合は入力信号の割合を多くし、逆に非目的エリア音の音量レベルが大きい場合推定雑音の割合を多くして混合する。
【００２４】
このように特許文献２の手法を用いれば、目的エリア音に入力信号及び推定雑音を混合することにより、ミュージカルノイズをマスキングし、通常の背景雑音のように違和感なく聞かせることができる。また、特許文献２の手法では、マイク入力信号に含まれる目的エリア音の成分により、目的エリア音の歪みを補正し、音質を改善することができる。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開２０１４−０７２７０８号公報
【特許文献２】特開２０１７−１８３９０２号公報
【非特許文献】
【００２６】
【非特許文献１】浅野太著，“音響テクノロジーシリーズ１６  音のアレイ信号処理−音源の定位・追跡と分離−”，日本音響学会編，コロナ社，２０１１年２月２５日発行
【発明の概要】
【発明が解決しようとする課題】
【００２７】
しかしながら特許文献２の手法は、特許文献１の処理において、エリア収音処理音に入力信号および推定雑音を混合しているため、音質が改善される周波数帯域に制限がある。特許文献１の手法は、使用するマイクロホンアレイのマイクロホン間隔により、指向性が保証される帯域が限られる。例えば、特許文献１の手法において、マイクロホン間隔を３ｃｍとした場合、６ｋＨｚを超えると折返し歪が発生し、目的エリア外の音も収音してしまう可能性がある。そのため、特許文献２の手法では、帯域を６ｋＨｚまでに制限して処理を行う必要がある。したがって、特許文献２の手法に基づくエリア収音においては、６ｋＨｚ以上の成分は不要となるため、無駄な処理を省くことも考慮し、通常サンプリング周波数１６ｋＨｚで音響信号を取り込むことになる（この場合、８ｋＨｚまでの成分が存在するが、６ｋＨｚから８ｋＨｚの帯域は処理を行わない）。つまり特許文献２の手法による音質改善は、６ｋＨｚ（最大で８ｋＨｚ）までとなり、それ以上の帯域は失われたままである。通常、人間の話している内容を理解することが目的であれば６ｋＨｚまでの成分がなくても問題はない。しかし通信システムの進歩により伝送帯域が大きくなると、映像の高画質化に伴い音声もより高音質なものを求められるが、従来の手法では実現することができない。
【００２８】
そのため、エリア収音処理により失われる高帯域の成分を回復し、音質を改善する収音装置、プログラム及び方法が望まれている。
【課題を解決するための手段】
【００２９】
第１の本発明は、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、（３）前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、（４）前記信号混合手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。
【００３０】
第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、（３）前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、（４）前記信号混合手段が混合した混合後信号を出力する出力手段として機能させることを特徴とする。
【００３１】
第３の本発明は、収音装置が行う収音方法において、（１）目的エリア音抽出手段、混合信号取得手段、信号混合手段、及び出力手段を有し、（２）前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、（３）前記混合信号取得手段は、前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得し、（４）前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合し、（５）前記出力手段は、前記信号混合手段が混合した混合後信号を出力することを特徴とする。
【発明の効果】
【００３２】
本発明によれば、エリア収音処理において失われる成分を低減して音質を改善させる収音装置、プログラム及び方法を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】第１の実施形態に係る収音装置の機能的構成について示したブロック図である。
【図２】第２の実施形態に係る収音装置の機能的構成について示したブロック図である。
【図３】従来のマイクロホン数が２個の場合の減算型ＢＦに係る構成を示すブロック図である。
【図４】従来の２個のマイクロホンを用いた減算型ＢＦにより形成される指向特性を示す図である。
【発明を実施するための形態】
【００３４】
（Ａ）第１の実施形態
以下、本発明による収音装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。
【００３５】
（Ａ−１）第１の実施形態の構成
図１は、この実施形態の収音装置１００の機能的構成について示したブロック図である。
【００３６】
収音装置１００は、２つのマイクロホンアレイＭＡ（ＭＡ１、ＭＡ２）を用いて、目的エリアの音源からの目的エリア音を収音する目的エリア音収音処理を行う。
【００３７】
マイクロホンアレイＭＡ１、ＭＡ２は、目的エリアが存在する空聞の任意の場所に配置される。目的エリアに対するマイクロホンアレイＭＡ１、ＭＡ２の位置は、指向性が目的エリアでのみ重なればどこでも良く、例えば目的エリアを挟んで対向に配置しても良い。各マイクロホンアレイＭＡは２つ以上のマイクロホンＭから構成され、各マイクロホンＭにより音響信号を収音する。この実施形態では、各マイクロホンアレイＭＡに、音響信号を収音する２つのマイクロホンＭ（Ｍ１、Ｍ２）が配置されるものとして説明する。すなわち、各マイクロホンアレイＭＡは、２ｃｈマイクロホンアレイを構成している。なお、マイクロホンアレイＭＡの数は２つに限定するものではなく、目的エリアが複数存在する場合、全てのエリアをカバーできる数のマイクロホンアレイＭＡを配置する必要がある。
【００３８】
なお、この実施形態の例では、マイクロホンの数は２個であり、２つのマイクロホン間の距離は３ｃｍであるものとする。なお、マイクロホン間の距離は限定されないものである。
【００３９】
収音装置１００は、サンプリング周波数設定部１０１、収音処理用信号入力部１０２、混合用信号入力部１０３、雑音抑圧部１０４、指向性形成部１０５、遅延補正部１０６、空間座標データ１０７、補正係数算出部１０８、目的エリア音抽出部１０９、信号混合部１１０、及び信号出力部１１１を有している。
【００４０】
収音装置１００を構成する各機能ブロックの詳細処理については後述する。
【００４１】
収音装置１００は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１００は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の判定プログラムや収音プログラムを含む）をインストールすることにより構成するようにしてもよい。
【００４２】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の収音装置１００の動作（実施形態に係る収音方法）を説明する。
【００４３】
サンプリング周波数設定部１０１は、入力された音響信号（各マイクロホンアレイＭＡ１、ＭＡ２の各マイクロホンＭ１、Ｍ２から入力された入力信号）に対して、用途(種類）ごとにサンプリング周波数を設定して出力する。ここでは、サンプリング周波数設定部１０１は、収音処理用信号入力部１０２向けの信号（以下、「エリア収音処理用信号」と呼ぶ）と、混合用信号入力部１０３向けの信号（以下、「混合用信号」と呼ぶ）のそれぞれに対してサンプリング周波数を設定する。
【００４４】
サンプリング周波数設定部１０１は、例えば、エリア収音処理用信号のサンプリング周波数よりも、混合用信号のサンプリング周波数を高い周波数に設定するようにしてもよい。具体的には、サンプリング周波数設定部１０１は、例えば、エリア収音処理用信号のサンプリング周波数を１６ｋＨｚ、混合用信号のサンプリング周波数を４８ｋＨｚとしてもよい。なお、エリア収音処理用信号のサンプリング周波数は、後述する目的エリア音抽出部１０９におけるエリア収音処理で処理する帯域（抽出する目的エリア音の帯域）の上限に対応する周波数であるものとする。例えば、目的エリア音抽出部１０９におけるエリア収音処理で処理する帯域の上限が８ｋｈｚである場合、エリア収音処理用信号のサンプリング周波数は１６ｋＨｚとなる。
【００４５】
収音処理用信号入力部１０２は、入力された音響信号（各マイクロホンアレイＭＡ１、ＭＡ２の各マイクロホンＭ１、Ｍ２から入力された入力信号）について、サンプリング周波数設定部１０１から設定されたサンプリング周波数に基づき、アナログ信号からデジタル信号に変換する。そして、収音処理用信号入力部１０２は、変換したデジタル信号を変換（例えば、高速フーリエ変換を用いて時間領域から周波数領域へ変換）する。
【００４６】
混合用信号入力部１０３は、入力された音響信号（各マイクロホンアレイＭＡ１、ＭＡ２の各マイクロホンＭ１、Ｍ２から入力された入力信号）について、サンプリング周波数設定部１０１から設定されたサンプリング周波数に基づき、アナログ信号からデジタル信号に変換する。そして、混合用信号入力部１０３は、変換したデジタル信号を変換（例えば、高速フーリエ変換を用いて時間領域から周波数領域へ変換）する。
【００４７】
雑音抑圧部１０４は、収音処理用信号入力部１０２もしくは混合用信号入力部１０３で取得した信号に含まれる背景雑音の成分を推定し、抑圧する。すなわち、雑音抑圧部１０４は、収音処理用信号入力部１０２から供給されたエリア収音処理用信号から雑音抑圧処理を行い、指向性形成部１０５に供給する。また、雑音抑圧部１０４は、混合用信号入力部１０３から供給された混合用信号から雑音抑圧処理を行い、信号混合部１１０に供給する。雑音抑圧部１０４が行う雑音抑圧処理の具体的手法については限定されないものであるが、例えば、ＳＳやウィーナーフィルタリング法（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒｉｎｇ）などを用いることができる。
【００４８】
なお、収音装置１００において、背景雑音がほとんどない静かな環境である場合（入力信号に背景雑音である場合）、雑音抑圧部１０４を除外するようにしてもよい。また、収音装置１００において、雑音抑圧処理を行わない場合（雑音抑圧部１０４が除外されている場合）、混合用信号入力部１０３は、信号の時間領域から周波数領域へ変換を行わず、時間領域のままでも良い。
【００４９】
指向性形成部１０５は、マイクロホンアレイ毎に供給されたエリア収音処理用信号（この実施形態の例では、雑音抑圧部１０４により背景雑音が抑圧されたエリア収音処理用信号）に対し、目的エリア方向に指向性を形成した信号を取得する。具体的には、指向性形成部１０５は、（４）式に従い、各マイクロホンアレイ（ＭＡ１、ＭＡ２）についてＢＦにより目的エリア方向に指向性を形成した信号（ＢＦ出力）を取得する。
【００５０】
遅延補正部１０６は、目的エリアと各マイクロホンアレイの距離の違いにより発生する遅延を算出し、補正する。まず空間座標データ１０７から目的エリアの位置とマイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間の差を算出する。次に、遅延補正部１０６は、最も目的エリアから遠い位置に配置されたマイクロホンアレイを基準として、全てのマイクロホンアレイに目的エリア音が同時に到達するように遅延を加える。
【００５１】
なお、マイクロホンアレイと目的エリア音の配置により、当初から遅延が発生しない場合、収音装置１００において遅延補正部１０６を除外した構成としてもよい。
【００５２】
空間座標データ１０７は、全ての目的エリアと各マイクロホンアレイと各マイクロホンアレイを構成するマイクロホンの位置情報を保持している。空間座標データ１０７が各マイクロホンアレイの各マイクロホンの位置情報を保持する方法や、空間座標データ１０７が保持する位置情報の具体的な形式は限定されないものであり、種々のデータ形式を適用することができる。
【００５３】
補正係数算出部１０８は、各ＢＦ出力に含まれる目的エリア音成分の振幅スペクトルを同じにするための補正係数を（５）、（６）式または（７）、（８）式に従い算出する。
【００５４】
なお、マイクロホンアレイと目的エリア音の配置により、各マイクロホンの目的エリア音の振幅スペクトルの差が小さいことが明白な場合は、収音装置１００において補正係数算出部１０８を除外した構成としてもよい。
【００５５】
目的エリア音抽出部１０９は、補正係数算出部１０８で算出した補正係数により補正した各ＢＦ出力データを（９）、もしくは（１０）式に従いＳＳし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部１０９は、抽出した雑音を各ＢＦの出力から（１０）、もしくは（１１）式に従いＳＳすることにより目的エリア音を抽出する。
【００５６】
そして、目的エリア音抽出部１０９は、抽出した目的エリア音に対し、サンプリング周波数設定部１０１で混合用信号に設定したサンプリング周波数でアップサンプリングする処理（混合用信号と同じサンプリング周波数まで上げた音響信号に変換する処理）を施す。そして、目的エリア音抽出部１０９は、アップサンプリング済の目的エリア音を信号混合部１１０に供給する。これにより、信号混合部１１０において、目的エリア音は、混合用信号と容易に混合可能な形式の音響信号となる。なお、目的エリア音抽出部１０９によるアップサンプリングの具体的処理方式については限定されないものであり、種々の方式を適用することができる。
【００５７】
信号混合部１１０は、目的エリア音抽出部１０９から供給されたアップサンプリング処理済の目的エリア音（目的エリア音抽出部１０９で抽出した目的エリア音に対してサンプリング周波数を混合用信号と同じにした信号）と、雑音抑圧部１０４から供給された信号（雑音抑圧処理済の混合用信号）を混合する処理を行う。信号混合部１１０による混合処理の詳細については限定されないものである。信号混合部１１０は、例えば、２つの信号を周波数領域において混合した後、時間領域へ変換しても良いし、周波数領域から時間領域へ変換した後で混合しても良い。
【００５８】
信号出力部１１１は、信号混合部１１０において混合処理した信号を最終的な出力信号として出力する。
【００５９】
以上のように、収音装置１００では、エリア収音処理よりも高いサンプリング周波数の信号を混合信号として使用する。
【００６０】
以上のように、第１の実施形態の収音装置１００では、混合用の信号として、エリア収音処理よりも高いサンプリング周波数のものを使用し、エリア収音処理音に混合する。また、第１の実施形態の収音装置１００では、エリア収音処理では、従来どおり折返し歪が発生しないサンプリング周波数で音響信号を取り込んでいる。さらに、第１の実施形態の収音装置１００では、混合用信号として、エリア収音処理よりも高いサンプリング周波数で音響信号を取り込んでいる。さらにまた、第１の実施形態の収音装置１００では、エリア収音処理が完了した後、その信号をアップサンプリング処理して、混合用信号と同じサンプリング周波数にしている。そして、第１の実施形態の収音装置１００では、その後、エリア収音処理後の信号と混合用信号を混合して出力する。
【００６１】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００６２】
第１の実施形態の収音装置１００では、エリア収音処理よりも高いサンプリング周波数の信号を混合信号として使用することで、エリア収音処理により失われる高帯域の成分を回復し、音質を改善することができる。
【００６３】
（Ｂ）第２の実施形態
以下、本発明による収音装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。
【００６４】
（Ｂ−１）第２の実施形態の構成
図３は、第２の実施形態の収音装置１００Ａに係る機能的構成について示したブロック図であり、上述の図１と同一部分又は対応部分については同一符号又は対応符号を付している。
【００６５】
以下では、第２の実施形態について第１の実施形態との差異を説明する。
【００６６】
第２の実施形態の収音装置１００Ａでは、混合帯域選択部１１２が追加されている点で、第１の実施形態と異なっている。
【００６７】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の収音装置１００Ａの動作（実施形態に係る収音方法）について、第１の実施形態との差異を中心に説明する。
【００６８】
混合帯域選択部１１２は、前段（この実施形態の例では雑音抑圧部１０４）から供給された信号（この実施形態の例では雑音抑圧処理済の混合用信号）に対して、目的エリア音抽出部１０９で処理した信号に混合する帯域（以下、「混合帯域」と呼ぶ）を選択し、供給された混合用信号から混合帯域のみを抽出（もしくは混合帯域以外を抑圧）する処理（以下、「フィルタ処理」とも呼ぶ）を施した信号（以下、「フィルタ処理済混合用信号」と呼ぶ）を取得して信号混合部１１０に供給する。
【００６９】
混合帯域の範囲については限定されないものである。混合帯域は、例えば、全体域（サンプリング周波数に対応する全帯域）でも良いし、所定の周波数ω１以上の帯域（ハイパスフィルターの処理で通過する帯域）でも良いし、所定の周波数ω２以下の帯域（ローパスフィルターの処理で通過する帯域）としてもよいし、所定の下限周波数ω３以上で且つ上限周波数ω４以下の帯域（バンドパスフィルタの処理で通過する帯域）としてもよい。また、混合帯域選択部１１２では、複数のフィルタを用いた信号処理（例えば、複数のバンドパスフィルタを組み合わせた処理）を行うようにしてもよい。また、混合帯域選択部１１２は、周波数領域でフィルタ処理（帯域制御処理）を行うようにしてもよいし、時間領域で信号のフィルタ処理（帯域制御処理）を行うようにしてもよい。
【００７０】
また、混合帯域選択部１１２では、混合帯域として、予め設定された帯域を設定するようにしてもよいし、動的な帯域を設定（例えば、供給された信号やその他の要因に応じた帯域に設定）するようにしてもよい。具体的には、例えば、混合帯域選択部１１２では、収音装置１００Ａで最終的に出力する信号に混入させると出力信号の品質（出力信号の使用目的に応じた品質）が劣化するおそれのある帯域を除外した帯域を混合帯域として設定するようにしてもよい。
【００７１】
そして、信号混合部１１０は、エリア収音処理後の信号と、混合帯域選択部１１２により処理された混合信号（フィルタ処理済混合用信号）を混合して出力する。
【００７２】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果と比較して、以下のような効果を奏することができる。
【００７３】
第２の実施形態の収音装置１００Ａ（信号混合部１１０）では、エリア収音処理後の信号と、混合帯域選択部１１２により処理された混合信号（フィルタ処理済混合用信号）を混合して出力する。これにより、第２の実施形態の収音装置１００Ａでは、最終的に出力する出力信号の品質を向上（劣化を抑制）するという効果を奏する。例えば、第２の実施形態の収音装置１００Ａでは、最終的に出力する信号に混入させると出力信号の品質が劣化するおそれのある帯域を除外した帯域を混合帯域として設定することで、最終的に出力する出力信号の品質を向上（劣化を抑制）するという効果を奏する。
【００７４】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【００７５】
（Ｃ−１）上記の各実施形態の収音装置では、収音に用いる各マイクロホンアレイＭＡのマイクロホンの数は２つであったが、３つ以上のマイクを用いて収音した音響信号に基づいて目的エリア方向の音を収音するようにしてもよい。上記の各実施形態において、適用するマイクロホンアレイＭＡ毎のマイクロホンの数や目的音方向の音を収音する方式については、既存の種々の方式を適用することができる。
【００７６】
（Ｃ−２）上記の各実施形態のサンプリング周波数設定部１０１において、エリア収音処理用信号と混合用信号のサンプリング周波数を同じとしてもよい。この場合、目的エリア音抽出部１０９は、エリア収音処理を行う帯域（抽出する目的エリア音の帯域；以下、「エリア収音処理帯域」と呼ぶ）を、折返し歪が発生しない帯域に制限し、エリア収音処理帯域より高い周波数の帯域の成分には「０」のデータを設定した信号をエリア収音処理後の信号（抽出した目的エリア音）として出力するようにしてもよい。
【００７７】
この場合、目的エリア音抽出部１０９が出力する信号（抽出した目的エリア音）は、外形的には混合用信号と同じサンプリング周波数の信号となるが、有効なサンプリング周波数は、エリア収音処理帯域の上限に対応するサンプリング周波数（以下、「エリア収音処理有効サンプリング周波数」と呼ぶ）となる。その結果、目的エリア音抽出部１０９が抽出する目的エリア音で有効なサンプリング周波数（エリア収音処理有効サンプリング周波数）は、混合信号用信号よりも低い周波数となる。例えば、エリア収音処理用信号と混合用信号のサンプリング周波数を４８ｋＨｚとし、エリア収音処理帯域の上限を８ｋＨｚ（エリア収音処理有効サンプリング周波数を１６ｋＨｚとした場合に対応する周波数）としてもよい。
【００７８】
なお、この場合、当然のことながら目的エリア音抽出部１０９は、エリア収音処理後の信号（抽出した目的エリア音）に対してアップサンプリング処理を行わずにそのまま信号混合部１１０に供給して、混合用信号と混合させる処理を行う。
【符号の説明】
【００７９】
１００…収音装置、Ｍ１、Ｍ２…マイクロホン、ＭＡ１、ＭＡ２…マイクロホンアレイ、サンプリング周波数設定部１０１、収音処理用信号入力部１０２、混合用信号入力部１０３、雑音抑圧部１０４、指向性形成部１０５、遅延補正部１０６、空間座標データ１０７、補正係数算出部１０８、目的エリア音抽出部１０９、信号混合部１１０、信号出力部１１１。
【図１】
2020039055.tif 000007
【図２】
2020039055.tif 000008
【図３】
2020039055.tif 000009
【図４】
2020039055.tif 000010
【手続補正書】
【提出日】令和1年11月1日(2019.11.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エ
リア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、
前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、
前記信号混合手段が混合した混合後信号を出力する出力手段と
を有することを特徴とする収音装置。
【請求項２】
前記信号混合手段は、前記目的エリア音抽出手段が抽出する前記目的エリア音を、前記混合信号取得手段が取得した前記混合信号と同じサンプリング周波数とするアップサンプリング処理が施された前記混合信号と混合することを特徴とする請求項１に記載の収音装置。
【請求項３】
前記混合信号取得手段が取得した前記混合信号の一部の周波数帯の成分を選択して抽出するフィルタ処理を施したフィルタ処理済混合信号を取得する混合帯域選択手段をさらに備え、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に、前記混合帯域選択手段が抽出した前記フィルタ処理済混合信号を混合する
ことを特徴とする請求項１又は２に記載の収音装置。
【請求項４】
コンピュータを、
複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、
前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、
前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、
前記信号混合手段が混合した混合後信号を出力する出力手段と
して機能させることを特徴とする収音プログラム。
【請求項５】
収音装置が行う収音方法において、
目的エリア音抽出手段、混合信号取得手段、信号混合手段、及び出力手段を有し、
前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、
前記混合信号取得手段は、前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得し、
前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合し、
前記出力手段は、前記信号混合手段が混合した混合後信号を出力する
ことを特徴とする収音方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
第１の本発明は、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、（３）前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、（４）前記信号混合手段が混合した混合後信号を出力する出力手段とを有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
第２の本発明の収音プログラムは、コンピュータを、（１）複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出する目的エリア音抽出手段と、（２）前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得する混合信号取得手段と、（３）前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合する信号混合手段と、（４）前記信号混合手段が混合した混合後信号を出力する出力手段として機能させることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第３の本発明は、収音装置が行う収音方法において、（１）目的エリア音抽出手段、混合信号取得手段、信号混合手段、及び出力手段を有し、（２）前記目的エリア音抽出手段は、複数のマイクロホンアレイから入力された入力信号に基づいて、それぞれの前記マイクロホンアレイのビームフォーマ出力を取得し、取得したビームフォーマ出力を用いて目的エリアを音源とする目的エリア音を抽出し、（３）前記混合信号取得手段は、前記入力信号に基づく信号であって、前記目的エリア音抽出手段が抽出する前記目的エリア音よりも有効なサンプリング周波数が高い混合信号を取得し、（４）前記信号混合手段は、前記目的エリア音抽出手段で抽出された前記目的エリア音に前記混合信号取得手段が取得した前記混合信号を混合し、（５）前記出力手段は、前記信号混合手段が混合した混合後信号を出力することを特徴とする。