(57)【要約】      （修正有）【課題】目的エリアに複数の音源がある場合でも、目的エリア音を適切に収音できる収音装置を提供する。【解決手段】収音装置２０は、マイクロホンアレイＭＡ１（メイン）及びＭＡ２（サブ）の出力に対し、ビームフォーマ（ＢＦ）処理により目的エリア方向へ指向性を形成する指向性形成部２２。また、収音装置は、サブのＢＦ出力の振幅スペクトルに対する、メインのＢＦ出力の振幅スペクトルの比率を周波数毎の算出し、算出された比率の頻度分布を得、分布のピークを取る比率（ピーク値）を求め、ピーク値が複数の場合に、ピーク値の最大値を補正係数に決定する伝播遅延差補正部２３と、メインのＢＦ出力から、サブのＢＦ出力の補正係数倍をスペクトル減算して、メインのＢＦ出力中の雑音を得、メインのＢＦ出力から、重み付けした雑音をスペクトル減算して目的エリア音を抽出する目的エリア音抽出部２６とを有する。【選択図】図１
2015023508.tif 000002
【特許請求の範囲】
【請求項１】
メイン及びサブのマイクロホンアレイと、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、
上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、
メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段と
を備えることを特徴とする収音装置。
【請求項２】
上記サブ反映係数決定手段は、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのものをサブ反映係数の候補値としていることを特徴とする請求項１に記載の収音装置。
【請求項３】
上記サブ反映係数決定手段は、ピーク値が複数ある場合に、最小値以外の各ピーク値が該当する振幅スペクトル比率に０より大きく１より小さい値を乗算した、乗算後においても、ピーク値の最小値と最大値との範囲内の値をとる修正振幅スペクトル比率と、ピーク値の最小値とをサブ反映係数の候補値としていることを特徴とする請求項１に記載の収音装置。
【請求項４】
上記サブ反映係数決定手段は、閾値以上の頻度を有するものだけをピーク値として取り扱うことを特徴とする請求項１〜３のいずれかに記載の収音装置。
【請求項５】
目的エリア内の音源からの音響のメインのマイクロホンアレイへの伝播遅延時間と、目的エリア内の音源からの音響のサブのマイクロホンアレイへの伝播遅延時間の差を吸収する補正処理を行う伝播遅延差補正手段をさらに備えることを特徴とする請求項１〜４のいずれかに記載の収音装置。
【請求項６】
メイン及びサブのマイクロホンアレイを有する収音装置に搭載されるコンピュータを、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、
上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、
メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段と
して機能させることを特徴とする収音プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音装置及びプログラムに関し、例えば、特定のエリアの音のみを強調し、それ以外のエリアの音を抑圧する場合に適用し得るものである。
【背景技術】
【０００２】
特定の方向に存在する音（音声や音響；以下、音声及び音響をまとめて音響と呼ぶこともある）を強調し、それ以外の音を抑圧する技術として、マイクロホンアレイを用いたビームフォーマがある。ビームフォーマとは、各マイクロホンに到達する信号の時間差を利用して指向性や死角を形成する技術である（非特許文献１、非特許文献２参照）。
【０００３】
しかし、単純にビームフォーマの指向性を収音目的とするエリア（以下、目的エリアと呼ぶ）に向けただけでは、目的エリアの周囲に雑音源が存在する場合、目的エリア内に存在する音源（以下、目的エリア音と呼ぶ）だけでなく、雑音も同時に収音してしまうという問題が存在する。
【０００４】
この問題に対して、本願発明者は、複数のマイクロホンアレイを用いて、別々の方向から指向性を目的エリアへ向けて交差させ、目的エリア音を収音する方式（以下、従来法と呼ぶ）を既に提案している（特願２０１２−２１７３１５号明細書及び図面）。従来法は、各マイクロホンアレイのビームフォーマ出力を同時に処理することで、目的エリア音を抽出する。以下、従来法を簡単に説明する。
【０００５】
図６（Ａ）は、２つのマイクロホンアレイＭＡ１及びＭＡ２の指向性を目的エリアＴＡＲに向けたときのイメージである。この状態では、各マイクロホンアレイＭＡ１、ＭＡ２のビームフォーマの出力に共に、目的エリアＴＡＲにある音源による目的エリア音だけでなく、同じ指向性方向の非目的エリアにある音源による非目的エリア音が含まれる。しかし、目的エリアＴＡＲは、全てのマイクロホンアレイＭＡ１及びＭＡ２の指向性に含まれているため、目的エリア音の成分は、図６（Ｂ）に示すように、各ビームフォーマの出力に、同じ割合、分布で含まれる。これと比較して、雑音成分（非目的エリア音の成分）は、ビームフォーマ出力毎に異なっている。このような特微から、各ビームフォーマ出力に共通に含まれる成分は、目的エリア音が有する成分と推定することができ、これに基づいて、従来法が構築された。
【０００６】
図７は、従来法に従った収音装置の概要構成を演算式に沿って示すブロック図である。マイクロホンアレイＭＡ１を構成する複数のマイクロホンからの捕捉信号ｘ１１（ｔ）〜ｘ１Ｍ（ｔ）から第１の指向性形成部１１によって目的エリアＴＡＲ方向のビームフォーマ出力Ｘｍａ１(ｔ)が得られ、同様に、マイクロホンアレイＭＡ２を構成する複数のマイクロホンからの捕捉信号ｘ２１（ｔ）〜ｘ２Ｍ（ｔ）から第２の指向性形成部１２によって目的エリアＴＡＲ方向のビームフォーマ出力Ｘｍａ２(ｔ)が得られる。
【０００７】
一方のビームフォーマ出力Ｘｍａ１から他方のビームフォーマ出力Ｘｍａ２をスペクトル減算することにより、両ビームフォーマ出力で重なっている目的エリア音成分は消去されるが、各ビームフォーマ出力中の雑音成分は重ならないため、被減算側のビームフォーマ出力に含まれている雑音成分Ｎｍａ１が抽出される。（１）式は、概ねこのような考え方に従っている算出式である。
【０００８】
被減算側のビームフォーマ出力Ｘｍａ１から、そこに含まれている雑音成分Ｎｍａ１をスペクトル減算することにより、目的エリア音成分Ｙｍａ１が抽出される。（２）式は、概ねこのような考え方に従っている算出式である。（２）式におけるγｍａ１は、雑音成分の除去強度を定めている一定値をとる係数（スカラー量）である。
【０００９】
なお、（１）式及び（２）式におけるビームフォーマ出力Ｘｍａ１、Ｘｍａ２、雑音成分Ｎｍａ１、目的エリア音成分Ｙｍａ１はそれぞれ、周波数毎の振幅スペクトル値を要素としたベクトルとして表記している。
【数１】
2015023508.tif 000003
【００１０】
上述のような２回のスペクトル減算を適用した方式により目的エリア音Ｙｍａ１を抽出するためには、スペクトル減算される各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２、に、同じタイミングの目的エリア音が同じパワーで含まれることが前提となる。図７における伝播遅延差補正部１３は、（１）式の演算に供する各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２、のタイミングを同じにするためのものであり、パワー差補正部１４は、各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２における目的エリア音のパワーを揃えるものである。これにより、雑音抽出用スペクトル減算部１５が（１）式の演算を実行でき、目的エリア音抽出用スペクトル減算部１６が（２）式の演算を実行できる。
【００１１】
目的エリア音が各マイクロホンアレイＭＡ１、ＭＡ２に到達する時間差τは、マイクロホンアレイＭＡ１、ＭＡ２と目的エリアＴＡＲ（例えば、エリアの中心位置を適用する）の位置情報が既知であれば、予め伝播遅延を計算して補正することができる。しかし、位置情報だけが既知では、各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２間の目的エリア音のパワーを補正することが難しい。これは、目的エリア音成分が未知であることに加え、人間の音声には指向性があるため、目的エリアＴＡＲ内で話者の向きが変わると、その度にパワーが変化してしまうためである。
【００１２】
そこで、従来法では、各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２間で振幅スペクトルの比率を利用し、目的エリア音のパワー補正係数（スカラー）αｍａ１を算出している。この算出方法を説明する。
【００１３】
（３）式に従い、タイミングを揃えたビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)間で周波数毎に振幅スペクトルの比を求め、その比率の最頻値αｍａ１を算出する。（３）式におけるｍｏｄｅ（Ａ（ｋ））は、変数ｋにより値が変わる関数値Ａ（ｋ）のうち最も多く出現した値（最頻値）を表している。（３）式におけるｋは周波数を表すパラメータであり、Ｍ、Ｎはそれぞれ、収音帯域の下限周波数、上限周波数である。Ｘｍａ１ｋ(ｔ)はビームフォーマ出力Ｘｍａ１(ｔ)の周波数ｋの振幅スペクトルを表し、Ｘｍａ２ｋ(ｔ−τ) はビームフォーマ出力Ｘｍａ２(ｔ−τ)の周波数ｋの振幅スペクトルを表している。上述のように、目的エリア音成分は、全てのビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)に同じ割合、分布で含まれているため、目的エリア音の周波数では、比率が全て同じになる。逆に、雑音成分は、分布が各ビームフォーマ出力Ｘｍａ１(ｔ)、Ｘｍａ２(ｔ−τ)で異なるので、比率はばらつくことになる。この特性から、全ての周波数についてそれぞれ比率を求めた後、比率の最頻値を求めれば、その値がそのまま各ビームフォーマ出力の目的エリア音のパワーが等しくなるように補正する係数αｍａ１(ｔ)となる。
【数２】
2015023508.tif 000004
【００１４】
図８は、各ビームフォーマ出力間の周波数毎の振幅スペクトルの比率をヒストグラムで表した説明図である。図８（Ａ）は、各マイクロホンアレイＭＡ１、ＭＡ２が目的エリアＴＡＲから等距離に配置されている場合である。目的エリアＴＡＲからの距離が同じため、入力される目的エリア音のパワーはほぼ等しく、比率の最頻値は１に近い値となっている。図８（Ｂ）は、マイクロホンアレイＭＡ１よりもマイクロホンアレイＭＡ２の方が目的エリアＴＡＲに近い場合である。目的エリアＴＡＲに近いマイクロホンアレイＭＡ２の方が目的エリア音のパワーが大きいため、比率の最頻値は１より小さい値となる。算出したパワー補正係数を用い、各ビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)に含まれる目的エリア音のパワーが全て等しくなるように補正した後、上記手法により目的エリア音を抽出することができる。
【００１５】
上述した（１）式〜（３）式は、マイクロホンアレイＭＡ１をメイン、マイクロホンアレイＭＡ２をサブとした処理を示しているが、マイクロホンアレイＭＡ１及びＭＡ２を逆にしても、同様に、目的エリア音の収音が可能である。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】浅野太著、“音のアレイ信号処理  −音源の定位・追跡と分離”、社団法人日本音響学会、コロナ社、２０１１年２月２５日発行
【非特許文献２】矢頭隆、森戸誠、山田圭、小川哲司共著、“正方形マイクロホンアレイによる音源分離技術（＜特集＞音声認識技術の実用化への取り組み）”、一般社団法人情報処理学会、情報処理５１（１１）、ｐｐ．１４１０−１４１６、２０１０年
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上記従来法を用いれば、目的エリアＴＡＲの周囲に雑音源が存在していても、目的エリア音のみを収音することができる。
【００１８】
しかし、目的エリアＴＡＲ内に複数の音源が存在していると、各マイクロホンアレイＭＡ１、ＭＡ２で収音される各音源のパワーにばらつきが生じる場合がある。例えば、目的エリアＴＡＲ内に指向性を持った音源ＳＡ及びＳＢが存在し、音源ＳＡ及びＳＢ共にマイクロホンアレイＭＡ１に対して９０度方向（一方は時計回りに９０度方向、他方は反時計回りに９０度方向）を向いているが、マイクロホンアレイＭＡ２に対して音源ＳＡは後ろ、音源ＳＢは正面を向いている、という状況もあり得る。この場合において、各マイクロホンアレイＭＡ１、ＭＡ２と目的エリアＴＡＲの距離が等しければ、各マイクロホンアレイＭＡ１、ＭＡ２で収音された音源ＳＡのパワーは、マイクロホンアレイＭＡ１の方がマイクロホンアレイＭＡ２よりも大きくなる。逆に、音源Ｂに関しては、マイクロホンアレイＭＡ２の方がマイクロホンアレイＭＡ１よりも大きくなる。この場合、各ビームフォーマ出力間の比率を算出すると、音源ＳＡとＳＢの比率はそれぞれ異なり、比率のヒストグラムでは、図９に示すように単峰にならず極値（以下、ピーク値と呼ぶ）が複数できる多峰になる。従来法は、最頻値の比率をパワー補正係数とするため、音源によってはパワー補正が充分でなく、目的エリア音の抽出の際に、目的エリア音の成分が抑圧されてしまう可能性がある。
【００１９】
そのため、目的エリアに複数の音源がある場合においても、目的エリア音を適切に収音することができる収音装置及びプログラムが望まれている。
【課題を解決するための手段】
【００２０】
第１の本発明の収音装置は、（１）メイン及びサブのマイクロホンアレイと、（２）上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、（３）上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、（４）メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段とを備えることを特徴とする。
【００２１】
第２の本発明の収音プログラムは、メイン及びサブのマイクロホンアレイを有する収音装置に搭載されるコンピュータを、（１）上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、（２）上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、（３）メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段として機能させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、目的エリアに複数の音源がある場合においても、目的エリア音を適切に収音できる収音装置及びプログラムを提供できる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態に係る収音装置の構成を示すブロック図である。
【図２】第１の実施形態に係る収音装置における目的エリア音パワー補正係数算出部のパワー補正係数の算出方法を適用した理由の説明図である。
【図３】第１の実施形態に係る収音装置における目的エリア音パワー補正係数算出部の処理を示すフローチャートである。
【図４】第２の実施形態に係る収音装置の構成を示すブロック図である。
【図５】第２の実施形態に係る収音装置における目的エリア音源レベル調節係数算出部の処理を示すフローチャートである。
【図６】２つのマイクロホンアレイを用い、別々の場所から指向性を目的エリア方向に向けた状態と、そのときのスペクトルを示す説明図である。
【図７】従来法による収音装置の構成を示すブロック図である。
【図８】各マイクロホンアレイのビームフォーマ出力間の周波数毎の振幅スペクトルの比率をヒストグラムで示した説明図である。
【図９】目的エリア内に複数の音源が存在する場合の各ビームフォーマ出力間の周波数毎の振幅スペクトルの比率をヒストグラムで示した説明図である。
【発明を実施するための形態】
【００２４】
（Ａ）第１の実施形態
以下、本発明による収音装置及びプログラムの第１の実施形態を、図面を参照にして説明する。
【００２５】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態に係る収音装置の構成を示すブロック図である。マイクロホンアレイを除く図１に示す部分は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置若しくはユニットが所定のプログラムを実行することで該当する機能を実現するように構築されても良く、いずれの構築方法を採用した場合であっても、機能的には、図１で表すことができる。
【００２６】
図１において、第１の実施形態に係る収音装置２０は、複数（図１は２個の場合を示している）のマイクロホンアレイＭＡ１及びＭＡ２、データ入力部２１、指向性形成部２２、伝播遅延差補正部２３、空間座標データ保持部２４、目的エリア音パワー補正係数算出部２５及び目的エリア音抽出部２６を備える。
【００２７】
第１のマイクロホンアレイＭＡ１は、目的エリア（以下、符号ＴＡＲを用いる；図６参照）が存在する空間の、目的エリアＴＡＲを指向できる場所に配置される。第１のマイクロホンアレイＭＡ１は、図３に示すように、Ｍ個（Ｍ≧２）のマイクロホンａ１１、ａ１２、…、ａ１Ｍから構成され、各マイクロホンａ１１、ａ１２、…、ａ１Ｍが音響を収音（捕捉）して音響信号ｘ１１、ｘ１２、…、ｘ１Ｍを当該収音装置２０の本体に入力する。
【００２８】
第２のマイクロホンアレイＭＡ２は、第１のマイクロホンアレイＭＡ１とは異なる、目的エリアＴＡＲを指向できる場所に配置されるが、第１のマイクロホンアレイＭＡ１と同様な構成を有する。第２のマイクロホンアレイＭＡ２を構成する各マイクロホンａ２１、ａ２２、…、ａ２Ｍから音響信号ｘ２１、ｘ２２、…、ｘ２Ｍが入力される。
【００２９】
図１では、第１及び第２のマイクロホンアレイＭＡ１及びＭＡ２が直線上に並設されているように記載しているが、これは紙面上の都合のためであり、実際的な配置では、第１のマイクロホンアレイＭＡ１（のマイクロホンの配置平面）が目的エリアＴＡＲを臨む方向と、第２のマイクロホンアレイＭＡ２が目的エリアＴＡＲを臨む方向とがなす角度がある程度の値（例えば、４５度以上）であることが好ましい（上述した図６参照）。
【００３０】
第１又は第２のマイクロホンアレイＭＡ１、ＭＡ２を構成するＭ個のマイクロホンの配置はビームフォーマを実行できる配置であれば良く、例えば、横一列、縦一列、十字状又は格子状のいずれかであっても良い。
【００３１】
データ入力部２１は、マイクロホンアレイＭＡ１、ＭＡ２で収音した音響信号をアナログ信号からデジタル信号（データ）に変換するものである。なお、上述した図７では、データ入力部の図示を省略している。
【００３２】
指向性形成部２２は、各マイクロホンアレイＭＡ１、ＭＡ２からの出力（デジタル信号）に対するビームフォーマにより、目的エリア方向に向けた指向性ビームを形成し、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ)を得るものである。ビームフォーマ法として、加算型の遅延和法、減算型のスペクトル減算法など各種手法を使うことができる。また、ターゲットとする目的エリアＴＡＲの範囲に応じて指向性の強度を変更するようにしても良い。ここで、指向性形成部２２が、上述した図７における第１及び第２の指向性形成部１１及び１２に対応している。
【００３３】
空間座標データ保持部２４は、目的エリアＴＡＲ（の中心）の位置情報や、各マイクロホンアレイＭＡ１、ＭＡ２の位置情報を保持しているものである。
【００３４】
伝播遅延差補正部２３は、目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する伝播遅延時間の差を算出し、その差を吸収するように、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ)の少なくとも１つを補正するものである。具体的な手順例は、以下の通りであり、マイクロホンアレイの数が３以上でも適用できるように説明する。まず、空間座標データ保持部２４から、目的エリアＴＡＲの位置と各マイクロホンアレイの位置を取得し、各マイクロホンアレイへの目的エリア音の到達時間（伝播遅延時間）の差を算出する。目的エリアＴＡＲから最も遠い位置に配置されたマイクロホンアレイに目的エリア音が到達するタイミングを基準とし、全てのマイクロホンアレイに目的エリア音が同時に到達するように、基準のマイクロホンアレイ以外の他の全てのマイクロホンアレイのビームフォーマ出力に遅延を加える。
【００３５】
ここで、伝播遅延差補正部２３及び空間座標データ保持部２４が、上述した図７における伝播遅延差補正部１４に対応している。
【００３６】
なお、目的エリアＴＡＲが変更されることなく、かつ、その目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２との距離が等しい場合には、伝播遅延差補正部２３及び空間座標データ保持部２４を省略することができる。
【００３７】
目的エリア音パワー補正係数算出部２５は、各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２における目的エリア音のパワーを揃えるための補正係数を算出するものである。目的エリア音パワー補正係数算出部２５は、各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２に複数の目的エリア音源が含まれる場合には、複数の目的エリア音源の中で最もパワーが大きい音源のパワーを、全てのビームフォーマ出力について同じにするようにパワー補正係数を算出する。
【００３８】
以下、目的エリア音パワー補正係数算出部２５によるパワー補正係数の算出方法における技術的な特徴について説明する。
【００３９】
目的エリア音パワー補正係数算出部２５は、各ビームフォーマ出力間の周波数毎の振幅スペクトル比率の頻度を求めた後、頻度のピーク値を検出し、ピーク値をとる振幅スペクトル比率の中で最大値の振幅スペクトル比率をパワー補正係数とする。ここで、ピーク値検出の際に適用する閾値を設け、閾値以上の頻度をもつピーク値だけを検出する。なお、上述した図７では、目的エリア音パワー補正係数算出部の図示を省略している。
【００４０】
以下に、従来法の課題を説明した状況において、第１の実施形態で算出したパワー補正係数を適用すると、その課題を解決できることを説明する。
【００４１】
図２は、目的エリアＴＡＲ内に複数の音源が存在する場合の各目的エリア音源に対するパワー補正係数と抽出した雑音パワーの関係例を示す説明図である。
【００４２】
従来法では、上述したように、全ての周波数についてそれぞれ振幅スペクトルの比率を求めた後、比率の最頻値を求めてパワー補正係数としており、目的エリアＴＡＲに複数の音源が存在していたときに、上述した課題が生じていた。今、従来法で課題が生じる状況を仮定する。例えば、第１のマイクロホンアレイＭＡ１のビームフォーマ出力Ｘｍａ１に含まれる目的エリア音源のパワーは音源ＳＡ及びＳＢ共に６、第２のマイクロホンアレイＭＡ２のビームフォーマ出力Ｘｍａ２では、音源ＳＡのパワーが３、音源ＳＢのパワーが９であったとする。この状況で、第１のマイクロホンアレイＭＡ１をメイン、第２のマイクロホンアレイＭＡ２をサブとしてエリア収音する場合を考える。
【００４３】
周波数毎に振幅スペクトルの比率を求め、その頻度をヒストグラムに表すと、ピークをとる振幅スペクトル比率の値（以下、ピーク値と呼ぶことがある）が０．６７（≒６／９）と２（＝６／３）の２箇所に現れることになる。ここで、従来法のように、最頻値をパワー補正係数αｍａ１として設定すると、ピーク値０．６７と２の頻度は状況によって変わるため、どちらが選択されるか予想できない。仮に、ピーク値０．６７がパワー補正係数αｍａ１として選択された場合、（１）式により抽出される雑音Ｎｍａ１には、音源ＳＡのパワーが４．０（＝６−３×（２／３））だけ含まれる。つまり、音源ＳＡに対するパワー補正が充分でないため、スペクトル減算後の雑音Ｎｍａ１に音源ＳＡの成分が消えずに残っている状態である。このまま、（２）式に従って目的エリア音を抽出すると、音源ＳＡの成分が減算され、抑圧されてしまう。逆に、ピーク値２．０をパワー補正係数αｍａ１とした場合、（１）式により抽出した雑音Ｎｍａ１に含まれる音源ＳＢのパワーは−１２（＝６−２×９）になる。しかし、スペクトル減算では処理結果が０未満になることはないので、成分がマイナスになった場合は、０に置き換えるかフロアリングにより０に近い値とする。それゆえ、抽出された雑音Ｎｍａ１には音源ＳＡ及びＳＢ共に含まれず、続く処理でどちらの音源ＳＡ及びＳＢも抑圧されずに目的エリア音が抽出されることになる。
【００４４】
同様に、第２のマイクロホンアレイＭＡ２をメイン、第１のマイクロホンアレイＭＡ１をサブとした場合では、パワー補正係数αｍａ２を０．５（＝３／６）とすると音源ＳＢが抑圧されてしまうが、パワー補正係数αｍａ２を１．５（＝９／６）では、どちらの音源ＳＡ及びＳＢも抑圧されずに目的エリア音として抽出することができる。
【００４５】
これらの結果から、振幅スペクトルの比率の頻度のピーク値が複数検出された場合には、最も値が大きい振幅スペクトル比率をパワー補正係数に設定すれば、全ての目的エリア音源を抑圧することなく抽出できることが分かる。第１の実施形態の目的エリア音パワー補正係数算出部２５は、このような考え方に従い、各ピーク値の中で最大値のピーク値（振幅スペクトル比率）をパワー補正係数αｍａ１とすることとした。ピーク値が１個の場合には、唯一のピーク値が最大ピーク値となるので、この場合は、従来法と同じ振幅スペクトル比率がパワー補正係数αｍａ１となる。
【００４６】
目的エリア音抽出部２６は、伝播遅延差補正部２３から出力された各ビームフォーマ出力Ｘｍａ１、Ｘｍａ２と、目的エリア音パワー補正係数算出部２５から出力されたパワー補正係数αｍａ１とに基づいて、目的エリア音を抽出するものである。目的エリア音抽出部２６は、具体的には、上述した（１）式に従って、メインのマイクロホンアレイＭＡ１のビームフォーマ出力Ｘｍａ１に含まれている雑音を抽出し、その後、（２）式に従って、メインのマイクロホンアレイＭＡ１のビームフォーマ出力Ｘｍａ１から抽出した雑音をスペクトル減算することにより、目的エリア音を抽出する。
【００４７】
ここで、目的エリア音抽出部２６が、上述した図７における雑音抽出用スペクトル減算部１５及び目的エリア音抽出用スペクトル減算部１６に対応している。
【００４８】
上述したように、目的エリア音を抽出するための処理では、全てのビームフォーマ出力Ｘｍａ１及びＸｍａ２が周波数領域で表現されていることを要する。そのため、図１では省略しているが、時間領域の信号を周波数領域の信号に変換する変換部や、周波数領域の信号を時間領域の信号に変換する変換部等が必要となる。前者の変換部の介挿位置として、データ入力部２１の後段、指向性形成部２２の後段、若しくは、伝播遅延差補正部２３の後段等を挙げることができる。例えば、伝播遅延差補正部２３の後段に変換部を設けた場合には、伝播遅延の時間差の補正処理が施された後の全ての時間領域のビームフォーマ出力を周波数領域のビームフォーマ出力に変換することとなる。後者の変換部の介挿位置として、目的エリア音抽出部２６の入力段や、目的エリア音抽出部２６の出力段等を挙げることができる。例えば、目的エリア音抽出部２６の出力段に変換部を設けた場合には、抽出された周波数領域の目的エリア音を時間領域の目的エリア音に変換することとなる。
【００４９】
（Ａ−２）第１の実施形態の動作
次に、上述した構成を有する第１の実施形態に係る収音装置２０の動作を説明する。
【００５０】
目的エリアＴＡＲに位置している全ての音源が放音した音響は、目的エリアＴＡＲを処理対象としている、全てのマイクロホンアレイＭＡ１及びＭＡ２のマイクロホンａ１１、ａ１２、…、ａ１Ｍ、ａ２１、ａ２２、…、ａ２Ｍによって捕捉される。なお、マイクロホンアレイＭＡ１及びＭＡ２のマイクロホンａ１１、ａ１２、…、ａ１Ｍ、ａ２１、ａ２２、…、ａ２Ｍは、目的エリアＴＡＲ以外のエリアに存在する音源からの音響も捕捉する。
【００５１】
第１のマイクロホンアレイＭＡ１の全てのマイクロホンａ１１、ａ１２、…、ａ１Ｍが捕捉して得た音響信号（アナログ信号）ｘ１１、ｘ１２、…、ｘ１Ｍは、データ入力部２１によってデジタル信号に変換されて指向性形成部２２に与えられ、同様に、第２のマイクロホンアレイＭＡ２の全てのマイクロホンａ２１、ａ２２、…、ａ２Ｍが捕捉して得た音響信号（アナログ信号）ｘ２１、ｘ２２、…、ｘ２Ｍは、データ入力部２１によってデジタル信号に変換されて指向性形成部２２に与えられる。
【００５２】
第１のマイクロホンアレイＭＡ１からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２２によって、目的エリアＴＡＲの方向を指向性方向とするビームフォーマ処理が施されて、メインのビームフォーマ出力Ｘｍａ１(ｔ)が得られて伝播遅延差補正部２３に与えられる。また、第２のマイクロホンアレイＭＡ２からのデジタル信号に変換された全ての音響信号に対し、指向性形成部２２によって、目的エリアＴＡＲの方向を指向性方向とするビームフォーマ処理が施されて、サブのビームフォーマ出力Ｘｍａ２(ｔ)が得られて伝播遅延差補正部２３に与えられる。
【００５３】
伝播遅延差補正部２３において、空間座標データ保持部２４の保持データに基づいて、目的エリアＴＡＲと各マイクロホンアレイＭＡ１、ＭＡ２の距離の違いにより発生する、目的エリアＴＡＲから第１のマイクロホンアレイＭＡ１への伝播遅延時間と、目的エリアＴＡＲから第２のマイクロホンアレイＭＡへの伝播遅延時間との差が算出され、その時間差を吸収するように、各マイクロホンアレイＭＡ１、ＭＡ２についてのビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ)の少なくとも１つの時間軸が補正される。
【００５４】
以上のようにして時間軸が揃えられたビームフォーマ出力（周波数領域の信号）Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)が、目的エリア音パワー補正係数算出部２５及び目的エリア音抽出部２６に与えられる。遅延が付与されるビームフォーマ出力がサブのマイクロホンアレイのビームフォーマ出力に限らないが、以下では、サブのマイクロホンアレイのビームフォーマ出力をＸｍａ２(ｔ−τ)と表記する（上述した（１）式も、同様な仮定下で表記している）。
【００５５】
目的エリア音パワー補正係数算出部２５においては、時間軸が揃えられたビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)に基づいて、これらビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ) における目的エリア音のパワーを揃えるための補正係数が算出される。
【００５６】
図３は、目的エリア音パワー補正係数算出部２５における処理を示すフローチャートである。
【００５７】
最初に、目的エリア音パワー補正係数算出部２５は、各ビームフォーマ出力Ｘｍａ１(ｔ)、Ｘｍａ２(ｔ−τ)間で、周波数毎に振幅スペクトルの比率を求める（ステップＳ１）。
【００５８】
次に、目的エリア音パワー補正係数算出部２５は、求めた振幅スペクトルの比率の頻度を算出し（ステップＳ２）、頻度のピーク値を検出する（ステップＳ３）。例えば、データの中で１階微分値が０であって（極値）、２階微分値がマイナスであるデータ点（極大値）の振幅スペクトルの比率の値をピーク値とすることにより、ピーク値を検出する。また、頻度が何回か連続で増加した後（ここでは、振幅スペクトルの比率を１単位分だけ増加させることを１回と表現している）、何回か連続で減少したとき、その変換点をピーク値であると判定するようにしても良い。
【００５９】
目的エリア音パワー補正係数算出部２５は、ピーク値を検出すると、予め設定されている閾値以上の頻度を有するピーク値の中から、最も大きい値を選択し、パワー補正係数αｍａ１とする（ステップＳ４）。この際、目的エリアＴＡＲを撮像した画像情報の分析などから、予め音源数が分かっている場合には、頻度の高い方から順に音源数だけピーク値を選び、その中の最大値をパワー補正係数αｍａ１とするようにしても良い。
【００６０】
以上にようにして決定されたパワー補正係数αｍａ１は、目的エリア音抽出部２６に与えられる。
【００６１】
目的エリア音抽出部２６においては、まず、時間軸が揃えられたビームフォーマ出力Ｘｍａ１(ｔ)及びＸｍａ２(ｔ−τ)とパワー補正係数αｍａ１とに基づいて、上述した（１）式の演算が実行されて、メインのマイクロホンアレイＭＡ１のビームフォーマ出力Ｘｍａ１(ｔ)に含まれている雑音Ｎｍａ１(ｔ)が抽出され、その後、メインのマイクロホンアレイＭＡ１の時間軸が揃えられたビームフォーマ出力Ｘｍａ１(ｔ)と雑音Ｎｍａ１(ｔ)と予め定まっている係数γｍａ１とに基づいて、（２）式の演算が実行されて、目的エリア音（周波数領域の信号）Ｙｍａ１(ｔ)が抽出される。
【００６２】
周波数領域の信号でなる目的エリア音Ｙｍａ１(ｔ)は、次段の構成によって、周波数領域の信号のまま出力され、若しくは、時間領域の信号に変換されて出力される。
【００６３】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、目的エリア内に複数の音源が存在する場合においても、目的エリア音を適切に抽出することができる。
【００６４】
（Ｂ）第２の実施形態
次に、本発明による収音装置及びプログラムの第２の実施形態を、図面を参照にして説明する。
【００６５】
上述した第１の実施形態の収音装置２０では、目的エリアＴＡＲ内の全ての音源に影響を与えずに目的エリア音を抽出できるパワー補正係数αｍａ１を算出している。
【００６６】
この第２の実施形態の収音装置２０Ａでは、この係数（第２の実施形態ではレベル調整係数と呼ぶ）を特定の範囲内で所定ルールに従って変更することで、目的エリアＴＡＲ内の音源の音量レベルを、大きいものからレベルを減少させるように調節する。目的エリア音源の音量レベルを調節することにより、例えば、ある話者の声が大き過ぎて他の話者の声が聞き難いような場合、大きな声を抑圧して目的エリア音全体を聴き易くすることが可能となる。
【００６７】
（Ｂ−１）第２の実施形態の構成
図４は、第２の実施形態に係る収音装置２０Ａの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
【００６８】
図４において、第２の実施形態に係る収音装置２０Ａは、第１の実施形態の目的エリア音パワー補正係数算出部２５に代えて、目的エリア音源レベル調節係数算出部２７を備えるものであり、他の構成は、第１の実施形態と同様なものである。
【００６９】
目的エリア音源レベル調節係数算出部２７は、目的エリアＴＡＲ内に存在する音源のうち、音源レベルの大きい音源から抑圧するレベル調節係数（以下、符号として、βｍａ１を用いる）を算出するものである。レベル調節係数βｍａ１の算出方法については、動作説明の項で明らかにする。
【００７０】
第２の実施形態における目的エリア音抽出部２６は、目的エリア音源レベル調節係数算出部２７から与えられたレベル調節係数βｍａ１を、第１の実施形態におけるパワー補正係数αｍａ１と同様に取扱い、目的エリア音を抽出するものである。すなわち、目的エリア音抽出部２６は、（１）式におけるパワー補正係数αｍａ１に代えてレベル調節係数βｍａ１を適用して目的エリア音を抽出するものである。
【００７１】
（Ｂ−２）第２の実施形態の動作
第２の実施形態の収音装置２０Ａにおける動作は、目的エリア音パワー補正係数算出部２５に代えて設けられた目的エリア音源レベル調節係数算出部２７の動作だけが、第１の実施形態と異なっているので、以下、目的エリア音源レベル調節係数算出部２７の動作だけを説明する。
【００７２】
図８は、目的エリア音源レベル調節係数算出部２７によるレベル調節係数の算出動作を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
【００７３】
目的エリア音源レベル調節係数算出部２７も、各ビームフォーマ出力Ｘｍａ１(ｔ)、Ｘｍａ２(ｔ−τ)間で、周波数毎に振幅スペクトルの比率を求め（ステップＳ１）、次に、求めた振幅スペクトルの比率の頻度を算出し（ステップＳ２）、頻度のピーク値を検出することを行う（ステップＳ３）。
【００７４】
この後の処理が、第１の実施形態の目的エリア音パワー補正係数算出部２５の処理とは異なっている。
【００７５】
目的エリア音源レベル調節係数算出部２７は、ピーク値を検出した後、予め設定した閾値以上の頻度を有するピーク値の中から、最大値と最小値を求め、ピーク値の最小値からピーク値の最大値までの区間を、レベル調節係数βｍａ１の取り得る範囲に設定する（ステップＳ６）。この際、目的エリアＴＡＲを撮像した画像情報の分析などから、予め音源数が分かっている場合には、頻度の高い方から順に音源数だけピーク値を選び、その中から、ピーク値の最大値と最小値を求めるようにしても良い。
【００７６】
目的エリア音源レベル調節係数算出部２７は、目的エリアＴＡＲ内の各音源の音量レベルが良好な関係になるように、先に決定して設定した範囲内で、予め定められている方法によりレベル調節係数βｍａ１を算出して設定する（Ｓ５）。
【００７７】
例えば、予め設定した閾値以上の頻度を有するピーク値が１個の場合には、その唯一のピーク値をレベル調節係数βｍａ１の取り得る最大値に設定する。また、最小値には、０以上最大値未満の値を設定する。この場合、βｍａ１の値を最大値から徐々に小さくしていくと、それに従い目的エリア音のレベルも小さくなり、βｍａ１＝０で完全に消えることとなる。例えば、予め設定した閾値以上の頻度を有するピーク値が２個以上の場合には、小さいピーク値をβｍａ１の取り得る最小値に設定し、大きいピーク値を最大値に設定する。図２において、マイクロホンアレイＭＡ２をメイン、マイクロホンアレイＭＡ１をサブとした場合、βｍａ１の最大値は１．５、最小値は０．５となる。βｍａ１＝１．５の場合、エリア収音処理後の出力には、目的エリア音源Ａの音量レベルが３、目的エリア音源Ｂの音量レベルが９で含まれている。βｍａ１の値を徐々に小さくしていくと、それに従い目的エリア音源Ｂの音量レベルは小さくなり、βｍａ１＝０．５で３となる。目的エリア音源Ａに対応するピーク値は０．５であるため、この間、目的エリア音源Ａの音量レベルは変化せず、βｍａ１＝０．５で目的エリア音源Ａ、Ｂの音量レベルは等しくなる。
【００７８】
レベル調節した値がピーク値の最小値からピーク値の最大値までの区間の値にするようにしたのは、この区間より小さい値にした場合には、図２に対する上述した説明から理解できるように、（１）式に従って抽出した雑音に、本来の音源の成分が多く残り過ぎるためである。一方、範囲内であれば、レベル調節した値を採用するようにしたのは、（１）式に従って抽出した雑音に、本来の音源の成分をそれなりに残し、（２）式に従って抽出した目的エリア音における、音響レベルが大きい音源の目的エリア音の比率を小さく抑え込むためである。
【００７９】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、目的エリアＴＡＲ内で他の音源より過度に音量レベルが大きい音源の成分を抑圧し、各音源の音量レベルの差を小さくすることができる。
【００８０】
（Ｃ）他の実施形態
上記各実施形態の説明においても種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【００８１】
上記各実施形態においては、第１のマイクロホンアレイに係るビームフォーム出力をメインとし、第２のマイクロホンアレイに係るビームフォーム出力をサブとして目的エリア音を抽出するものを示したが、第１及び第２のマイクロホンアレイに係るビームフォーム出力を利用した他の方法によって目的エリア音を抽出するようにしても良い。例えば、第１のマイクロホンアレイに係るビームフォーム出力をメイン、第２のマイクロホンアレイに係るビームフォーム出力をサブとして抽出した目的エリア音と、第２のマイクロホンアレイに係るビームフォーム出力をメイン、第１のマイクロホンアレイに係るビームフォーム出力をサブとして抽出した目的エリア音のうち、一方を出力する目的エリア音として選択するようにしても良い。例えば、抽出された目的エリア音の音量レベルやパワーの大小から、一方を選択する。また例えば、第１のマイクロホンアレイに係るビームフォーム出力をメイン、第２のマイクロホンアレイに係るビームフォーム出力をサブとして抽出した目的エリア音と、第２のマイクロホンアレイに係るビームフォーム出力をメイン、第１のマイクロホンアレイに係るビームフォーム出力をサブとして抽出した目的エリア音との平均値や加算値を、出力する目的エリア音とするようにしても良い。
【００８２】
上記各実施形態では、マイクロホンアレイが２つのものを示したが、マイクロホンアレイが３つ以上あっても良い。例えば、マイクロホンアレイが３つの場合において、第１及び第２のマイクロホンアレイからの出力から上記各実施形態の方法によって得た目的エリア音、第２及び第３のマイクロホンアレイからの出力から上記各実施形態の方法によって得た目的エリア音、第３及び第１のマイクロホンアレイからの出力から上記各実施形態の方法によって得た目的エリア音の計３つの目的エリア音から、出力する目的エリア音を定めるようにしても良い。
【００８３】
上記各実施形態では、図１又は図４に示すように各部が配置されているものを示したが、本発明の特徴から離れないならば、各部の位置関係が逆であっても良い。例えば、伝播遅延差補正部２３を指向性形成部２２の前段に設けるようにしても良い。
【００８４】
上記各実施形態では、ピーク値として取り扱う振幅スペクトル比率は、その頻度が閾値以上であることを要するものを示したが、これに代え、又は、これに加えて、他の条件を導入するようにしても良い。例えば、最大頻度の所定割合以上の頻度をとることを、ピーク値として取り扱う振幅スペクトル比率の条件とするようにしても良い。
【００８５】
上記各実施形態では、マイクロホンアレイが捕捉して得た音響信号をリアルタイムに処理するものを示したが、マイクロホンアレイが捕捉して得た音響信号を記憶媒体に記憶させ、その後、記憶媒体から読み出して処理して目的エリア音の強調信号を得るようにしても良い。このように記憶媒体を利用する場合には、マイクロホンアレイが設定されている場所と、目的エリア音の抽出処理する場所とが離れていても良い。同様に、リアルタイムに処理する場合にも、マイクロホンアレイが設定されている場所と、目的エリア音の抽出処理する場所とが離れていても良く、通信により信号を遠隔地に供給するようにしても良い。
【００８６】
以上のような記憶媒体や通信を利用したりする場合も、本発明の「収音装置」の概念に含まれるものとする。
【００８７】
上記各実施形態では、各マイクロホンアレイにおけるマイクロホンの数が同じものを示したが、各マイクロホンアレイにおけるマイクロホンの数が異なっていても良い。
【符号の説明】
【００８８】
ＭＡ１、ＭＡ２…マイクロホンアレイ、２０、２０Ａ…収音装置、２１…データ入力部、２２…指向性形成部、２３…伝播遅延差補正部、２４…空間座標データ保持部、２５…目的エリア音パワー補正係数算出部、２６…目的エリア音抽出部、２７…目的エリア音源レベル調節係数算出部。
【図１】
2015023508.tif 000005
【図２】
2015023508.tif 000006
【図３】
2015023508.tif 000007
【図４】
2015023508.tif 000008
【図５】
2015023508.tif 000009
【図６】
2015023508.tif 000010
【図７】
2015023508.tif 000011
【図８】
2015023508.tif 000012
【図９】
2015023508.tif 000013
【手続補正書】
【提出日】平成26年9月1日(2014.9.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メイン及びサブのマイクロホンアレイと、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、
上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブのマイクロホンアレイについてのビームフォーマ出力のパワーをメインのマイクロホンアレイについてのビームフォーマ出力のパワーに整合させるための係数であるサブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、
メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段と
を備えることを特徴とする収音装置。
【請求項２】
上記サブ反映係数決定手段は、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのものをサブ反映係数の候補値としていることを特徴とする請求項１に記載の収音装置。
【請求項３】
上記サブ反映係数決定手段は、ピーク値が複数ある場合に、複数のピーク値の最小値から複数のピーク値の最大値の範囲をピーク値の修正範囲に設定し、予め定められている方法によりピーク値をその修正範囲内に収まるように修正してサブ反映係数の決定に利用することを特徴とする請求項１に記載の収音装置。
【請求項４】
上記サブ反映係数決定手段は、閾値以上の頻度を有するものだけをピーク値として求めることを特徴とする請求項１〜３のいずれかに記載の収音装置。
【請求項５】
目的エリア内の音源からの音響のメインのマイクロホンアレイへの伝播遅延時間と、目的エリア内の音源からの音響のサブのマイクロホンアレイへの伝播遅延時間の差を吸収する補正処理を行う伝播遅延差補正手段をさらに備えることを特徴とする請求項１〜４のいずれかに記載の収音装置。
【請求項６】
メイン及びサブのマイクロホンアレイを有する収音装置に搭載されるコンピュータを、
上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、
上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブのマイクロホンアレイについてのビームフォーマ出力のパワーをメインのマイクロホンアレイについてのビームフォーマ出力のパワーに整合させるための係数であるサブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、
メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段と
して機能させることを特徴とする収音プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第１の本発明の収音装置は、（１）メイン及びサブのマイクロホンアレイと、（２）上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、（３）上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブのマイクロホンアレイについてのビームフォーマ出力のパワーをメインのマイクロホンアレイについてのビームフォーマ出力のパワーに整合させるための係数であるサブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、（４）メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段とを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
第２の本発明の収音プログラムは、メイン及びサブのマイクロホンアレイを有する収音装置に搭載されるコンピュータを、（１）上記各マイクロホンアレイの出力のそれぞれに対し、ビームフォーマによって、少なくとも目的エリア方向へ指向性を形成する指向性形成手段と、（２）上記指向性形成部からの、サブのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルに対する、メインのマイクロホンアレイについてのビームフォーマ出力の振幅スペクトルの比率を周波数毎の算出し、算出された振幅スペクトル比率が同じ周波数を計数した頻度に基づいて頻度分布を得、頻度分布の形状でピークを取る振幅スペクトル比率であるピーク値を求め、ピーク値に基づいて、サブのマイクロホンアレイについてのビームフォーマ出力のパワーをメインのマイクロホンアレイについてのビームフォーマ出力のパワーに整合させるための係数であるサブ反映係数を決定するものであって、ピーク値が複数ある場合に、各ピーク値が該当する振幅スペクトル比率そのもの、若しくは、その振幅スペクトル比率に値を小さくする修正を加えた修正振幅スペクトル比率でなる複数の候補値の中から最大値をサブ反映係数に決定するサブ反映係数決定手段と、（３）メインのマイクロホンアレイについてのビームフォーマ出力から、サブのマイクロホンアレイについてのビームフォーマ出力のサブ反映係数倍を、スペクトル減算することにより、メインのマイクロホンアレイについてのビームフォーマ出力に含まれている雑音を得、メインのマイクロホンアレイについてのビームフォーマ出力から、重み付けした雑音をスペクトル減算することにより、目的エリア音を抽出する目的エリア音抽出手段として機能させることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
第１のマイクロホンアレイＭＡ１は、目的エリア（以下、符号ＴＡＲを用いる；図６参照）が存在する空間の、目的エリアＴＡＲを指向できる場所に配置される。第１のマイクロホンアレイＭＡ１は、Ｍ個（Ｍ≧２）のマイクロホンａ11、ａ12、…、ａ1Mから構成され（図７参照）、各マイクロホンａ11、ａ12、…、ａ1Mが音響を収音（捕捉）して音響信号ｘ11、ｘ12、…、ｘ1Mを当該収音装置２０の本体に入力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
目的エリア音源レベル調節係数算出部２７は、ピーク値を検出した後、予め設定した閾値以上の頻度を有するピーク値の中から、最大値と最小値を求め、ピーク値の最小値からピーク値の最大値までの区間を、レベル調節係数βma1の取り得る範囲に設定する（ステップＳ５）。この際、目的エリアＴＡＲを撮像した画像情報の分析などから、予め音源数が分かっている場合には、頻度の高い方から順に音源数だけピーク値を選び、その中から、ピーク値の最大値と最小値を求めるようにしても良い。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
目的エリア音源レベル調節係数算出部２７は、目的エリアＴＡＲ内の各音源の音量レベルが良好な関係になるように、先に決定して設定した範囲内で、予め定められている方法によりレベル調節係数βma1を算出して設定する（ステップＳ６）。
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2015023508.tif 000014
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2015023508.tif 000015
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2015023508.tif 000016