(57)【特許請求の範囲】
【請求項１】
互いに指向性が異なる方向の複数の指向性収音手段と少なくとも１個の全指向性収音手段と、
各収音手段からの収音信号を入力し、指向性の方向が互いに異なる組み合わせが設定された重み付け加算係数により重み付け加算された信号を生成する指向性可変手段と、
生成された重み付け加算係数により重み付け加算された信号に基づいて音源方向を推定する音源方向推定手段と、
推定された音源方向に基づき、重み付け加算係数で重み付けられた信号を選択する指向性選択手段を備えたこと
を特徴とする収音装置。
【請求項２】
請求項１に記載の収音装置において、
音源方向推定手段は、
複数の指向性可変手段を２つの異なる組み合わせとして類別する組み合せ決定手段と、組み合わせ決定手段で類別された２つの指向性可変手段からの重み付け加算係数で重み付けされた信号レベルを比較するレベル差算出手段と、レベル差算出手段で算出したレベル差と、組み合わせ決定手段で組み合わされた組と、方向の３つを対応付けるレベル差方向対応付け手段と、レベル差方向対応付け手段において方向と対応付けられたレベル差について隣接する方向に対応するレベル差との差分を算出するレベル差変動幅検出手段と、レベル差変動幅検出手段で算出されたレベル差の差分と方向とを対応付けるレベル差変動方向対応付け手段と、レベル差変動幅検出手段で算出された差分のうち、最大値から順に少なくとも一つを選ぶレベル差変動ピーク検出手段と、レベル差変動ピーク検出手段で選ばれた少なくとも一つのレベル差の差分に対し、レベル差変動方向対応付け手段で対応付けられた方向を音源方向として検出する方向検出手段とを備え、音源方向を推定すること
を特徴とする収音装置。
【請求項３】
請求項２に記載の収音装置において、
音源方向推定手段は、
組み合わせ決定手段で組み合わされた指向性可変手段からの重み付け加算係数で重み付けられた信号それぞれを周波数帯域に分割する帯域分割手段と、帯域分割された信号に対し、組み合わせ手段で組み合わされた２組の重み付け加算係数で重み付けられた信号の帯域毎のレベル差を算出する帯域別差分算出手段と、各帯域のレベル差に基づき帯域成分を類別する信号判定手段とを備え、
レベル差算出手段は、信号判定手段で類別された帯域成分の、類別毎の全帯域レベルを算出し、算出した全帯域レベルの類間の差分を算出し、前記レベル差とすること
を特徴とする収音装置。
【請求項４】
請求項１に記載の収音装置において、
指向性可変手段は、死角方向又は指向性の主軸方向がΔτ度（τは任意の角度）毎に異なる指向性を合成し、
音源方向推定手段は、
それぞれの指向性可変手段からの重み付け加算係数で重み付けられた信号のレベルを算出するレベル算出手段と、レベル算出手段で算出されたレベルを降順又は昇順に並べ替えるレベル順位付け手段と、レベル順位付け手段で順位付けられたレベルのうち、小さいものから少なくとも一つを選び、そのレベルに対応する指向性可変手段の死角方向又は指向性の主軸方向を音源方向として算出するレベル小方向検出手段を備え、音源方向を推定すること
を特徴とする収音装置。
【請求項５】
請求項１乃至４に記載のいずれか１項に記載の収音装置を備え、収音装置の指向性選択手段で選ばれた指向性可変手段からの少なくとも二つの重み付け加算係数で重み付けられた信号を入力し、
各重み付けられた加算係数で重み付けられた信号を１つの音源の音響信号の成分のみが含まれる程度に複数の周波数帯域に分割する帯域分割部と、
これら分割された各信号の各同一帯域ごとに音源の位置に起因して変化する音響信号のパラメータの値の差を帯域別チャネル間パラメータ値差として検出する帯域別チャネル間パラメータ差検出手段と、
各帯域の帯域別チャネル間パラメータ値差に基づき、その帯域の帯域分割された各信号の何れがいずれの音源から入力された信号であるかを判定する音源信号判定手段と、
音源信号判定手段の出力に基づき帯域分割された各信号から、同一音源から入力された信号を少なくとも一つ選択する音源判定信号選別手段と、
音源判定信号選別手段で同一音源からの信号として選択された、複数の帯域信号を音源信号として合成する音源信号合成手段を備えたこと
を特徴とする収音・音源分離装置。
【請求項６】
互いに指向性が異なる方向の複数の指向性収音信号と少なくとも１個の全指向性収音信号を生成し、
生成した各収音信号に基づいて指向性の方向が互いに異なる組み合わせが設定された重み付け加算係数により重み付け加算された信号を生成し、
重み付け加算係数により重み付けられた信号に基づいて音源方向を推定し、
推定された音源方向に基づき、前記重み付け加算係数で重み付けられた信号を選択すること
を特徴とする収音方法。
【請求項７】
請求項６に記載の収音方法において、
音源方向の推定は、
複数の重み付け加算係数で重み付けられた信号を２つの異なる組み合わせとして類別し、類別された２つの重み付け加算係数で重み付けられた信号レベルを比較し、算出されたレベル差と、組み合わされた組と、方向の３つを対応付け、方向と対応付けられたレベル差について隣接する方向に対応するレベル差との差分を算出し、  算出したレベル差の差分と方向を対応付け、算出したレベル差のうち、最大値から順に少なくとも一つを選び、選ばれた少なくとも一つのレベル差の差分に対し、対応付けられた方向を音源方向として推定すること
を特徴とする収音方法。
【請求項８】
請求項７に記載の収音方法において、
音源方向の推定は、
組み合わされた重み付け加算係数で重み付けられた信号それぞれを周波数帯域に分割し、帯域分割された信号に対し、組み合わされた２組の重み付け加算係数で重み付けられた信号の帯域毎のレベル差を算出し、各帯域毎のレベル差に基づき帯域成分を類別し、類別された帯域成分の、類別毎の全帯域レベルを算出し、算出した全帯域レベルの類間の差分を算出し、前記レベル差とすること
を特徴とする収音方法。
【請求項９】
請求項６に記載の収音方法において、
指向性の方向が互いに異なる組み合わせの設定は、死角方向又は指向性の主軸方向がΔτ度（τは任意の角度）毎に異なる指向性を合成することにより設定し、
音源方向の推定は、それぞれの重み付け加算係数で重み付けられた信号のレベルを算出し、算出されたレベルを降順又は昇順に並べ替えて順位付けし、順位付けられたレベルのうち、小さいものから少なくとも一つを選び、そのレベルに対応する可変指向性の死角方向又は指向性の主軸方向を音源方向として算出して音源方向を推定すること
を特徴とする収音方法。
【請求項１０】
請求項６乃至９のいずれか１項に記載の収音方法により選択された少なくとも二つの重み付け加算係数で重み付けられた信号を１つの音源の音響信号の成分のみが含まれる程度に複数の周波数帯域に分割し、
これら分割された各信号の各同一帯域ごとに音源の位置に起因して変化する音響信号のパラメータの値の差を帯域別チャネル間パラメータ値差として検出し、
各帯域の帯域別チャネル間パラメータ値差に基づき、その帯域の帯域分割された各信号の何れがいずれの音源から入力された信号であるかを判定し、
この判定に基づき帯域分割された各信号から、同一音源から入力された信号を少なくとも一つ選択し、
同一音源からの信号として選択された、複数の帯域信号を音源信号として合成すること
を特徴とする収音・音源分離方法。
【請求項１１】
互いに指向性が異なる方向の複数の指向性収音手段と少なくとも１個の全指向性収音手段により収音された各収音信号に基づいて指向性の方向が互いに異なる組み合わせが設定された重み付け加算係数により重み付け加算された信号を生成する指向性可変処理と、
指向性可変処理により生成された重み付け加算係数により重み付け加算された信号に基づいて音源方向を推定する音源方向推定処理と、
推定された音源方向に基づき、重み付け加算係数で重み付けられた信号を選択する指向性選択処理をコンピュータに実行させる収音プログラムを記録した機械読み取り可能な記録媒体。
【請求項１２】
請求項１１に記載の収音プログラムを記録した機械読み取り可能な記録媒体において、
音源方向推定処理は、
複数の重み付け加算係数で重み付けられた信号を２つの異なる組み合わせとして類別する組み合わせ決定処理と、組み合わせ決定処理で類別された２つの重み付け係数で重み付けられた信号のレベルを比較するレベル差算出処理と、レベル差算出処理で算出されたレベル差と、組み合わせ決定処理で組み合わされた組と、音源方向の３つを対応付けるレベル差方向対応付け処理と、レベル差方向対応付け処理において方向と対応付けられたレベル差について隣接する方向に対応するレベル差との差分を算出するレベル差変動幅検出処理と、レベル差変動幅検出処理で算出されたレベル差の差分と方向とを対応付けるレベル差変動方向対応付け処理と、レベル差変動幅検出処理で算出されたレベル差のうち、最大値から順に少なくとも一つを選ぶレベル差変動ピーク検出処理と、レベル差変動ピーク検出処理で選ばれた少なくとも一つのレベル差の差分に対し、レベル差変動方向対応付け処理で対応付けられた方向を音源方向として推定する方向検出処理を有し、各処理をコンピュータに実行させる収音プログラムを記録した機械読み取り可能な記録媒体。
【請求項１３】
請求項１２に記載の収音プログラムを記録した機械読み取り可能な記録媒体において、
音源方向推定処理は、
組み合わせ決定処理で組み合わされた重み付け加算係数で重み付けされた信号それぞれを周波数帯域に分割する帯域分割処理と、帯域分割された信号に対し、組み合わせ決定処理で組み合わされた２組の重み付け加算係数で重み付けされた信号の帯域毎のレベル差を算出する帯域別差分算出処理と、各帯域のレベル差に基づき帯域成分を類別する信号判定処理と、
レベル差算出処理は、信号判定処理で類別された帯域成分の、類別毎の全帯域レベルを算出し、算出した全帯域レベルの類間の差分を算出する処理により前記レベル差を算出し、各処理をコンピュータに実行させる収音プログラムを記録した機械読み取り可能な記録媒体。
【請求項１４】
請求項１１に記載の収音プログラムを記録した機械読み取り可能な記録媒体において、
指向性可変処理は、死角方向又は指向性の主軸方向がΔτ度（τは任意の角度）毎に異なる指向性を合成する処理を有し、
音源方向推定処理は、それぞれの指向性可変処理からの重み付け加算係数で重み付けられた信号のレベルを算出するレベル算出処理と、レベル算出処理で算出されたレベルを降順又は昇順に並べ替えるレベル順位付け処理と、レベル順位付け処理で順位付けられたレベルのうち、小さいものから少なくとも一つを選び、そのレベルに対応する可変指向性の死角方向又は指向性の主軸方向を音源方向として算出するレベル小方向検出処理により音源方向を推定し、各処理をコンピュータに実行させる収音プログラムを記録した機械読み取り可能な記録媒体。
【請求項１５】
請求項１１乃至１４に記載のいずれか１項に記載の収音プログラムを記録した機械読み取り可能な記録媒体に記録した収音プログラムを有し、指向性選択処理で選ばれた少なくとも二つの重み付け加算係数で重み付けされた信号を１つの音源の音響信号の成分のみが含まれる程度に複数の周波数帯域に分割する帯域分割処理と、
これら分割された各信号の各同一帯域ごとに音源の位置に起因して変化する音響信号のパラメータの値の差を帯域別チャネル間パラメータ値差として検出する帯域別チャネル間パラメータ差検出処理と、
各帯域の帯域別チャネル間パラメータ値差に基づき、その帯域の帯域分割された各信号の何れがいずれの音源から入力された信号であるかを判定する音源信号判定処理と、
音源信号判定処理の出力に基づき帯域分割された各信号から、同一音源から入力された信号を少なくとも一つ選択する音源判定信号選別処理と、
音源判定信号選別処理で同一音源からの信号として選択された、複数の帯域信号を音源信号として合成する音源合成処理をコンピュータに実行させる収音・音源分離プログラムを記録した機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、空間に複数の音源が異なる位置に配置されている場合に、３本以上のマイクロホンを用いて、空間を複数のゾーンに分割し、各ゾーンにある音源からの音を他ゾーンの音源とは独立に収音する収音装置、収音・音源分離装置及び収音、収音・音源分離方法並びにこの方法を実行するプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来のゾーン分離収音技術には、例えば、音が持つ次のような特徴を利用したものがある。音はいくつかの周波数成分の和として表現されることが知られている。そこで、複数の音が同時に鳴っている場合、各チャネルのマイクロホンに入力される音源信号を各音源からの周波数成分が周波数軸上で重ならない程度の帯域に分割し、チャネル間の各周波数成分の到達時間差や到達レベル差を基に、各周波数成分それぞれがどのゾーンからのものであるか判定し、同一ゾーンからの成分を集めて合成することにより、各ゾーン毎の音を個別に収音する方法が用いられていた。（参考文献：特開平１０−３１３４９７号公報（特願平０９−２５２３１２号）「音源分離方法、装置および記録媒体」）。
【０００３】
【発明が解決しようとする課題】
ところが、この従来の技術では、各音源信号が各チャネルに到達する時間差およびレベル差を用いているため、マイクロホンの指向特性によりゾーンが固定されていた。よって、複数の音源が同一ゾーン内に入る場合、マイクロホンの向きを物理的に変えることなく、この音源をそれぞれ分離抽出することは不可能であった。（課題１）
また、ゾーンを切り替えるためには音源の方向を検出する必要があるが、上記入力系の構成、すなわち、２本の両指向性マイクロホンと１本の全指向性マイクロホンを同軸上に配置した構成で音源の方向を推定することは困難であった。従来、音源方向を推定するためには、２本以上の全指向性マイクロホンを互いに離して設置し、音源から各マイクロホンへの到達時間の差を検出する方法が知られているが、この構成は、マイクロホンの本数及び規模が大きくなるという欠点があった。（課題２）
【０００４】
【課題を解決するための手段】
本発明は、３本の収音手段で収音された信号の線形和を算出することで入力手段が持つ指向特性を電気的に可変にし、従来、同一ゾーンに含まれるため分離が不可能であった音源に対しても、マイクロホンを物理的に動かすことなくゾーンを切り替え、個々の音源を分離抽出することを特徴とする（課題１の解決）。
さらに、２本の両指向性収音手段と１本の全指向性収音手段を用いて音源方向を推定することで、マイクロホンの本数および規模を変えることなく、音源方向推定を可能とする（課題２の解決）。さらに、推定された音源方向に応じてゾーンを分割するのに適した指向性を選択することで、音源の位置に依らず自律的にゾーン毎の音を分離抽出することを特徴とする。
【０００５】
ここで、音源方向推定の基本的な考え方を説明する。
図１の音源方向推定の説明図を参照して音源１，２が図のように配置された場合を例に挙げて説明する。この場合、主軸方向が９０°の単一指向性の指向性可変手段４−１と２７０°の単一指向性の指向性可変手段４−３の出力信号のレベル差ΔＬを測定すると、音源１，２が二つとも０°〜１８０°の間にあるため、レベル差ΔＬは、単一指向性の元々持つ感度差（２０ｄＢ〜３０ｄＢ）とほぼ同じ値となる。一方、指向性を回転させ、主軸方向が１８０°の単一指向性の指向性可変手段４−１と、０°の単一指向性の指向性可変手段４−３のレベル差を測定すると、レベル差ΔＬはほぼ０ｄＢとなる。よって、ΔＬを観測することで、音源２つの内一つ（音源１）は０°〜９０°の範囲に、もう一つ（音源２）は９０°〜１８０°の範囲にあることがわかる。そこで、主軸方向を少しづつ回転させ、すべての方向に対してΔＬを観測すれば、どの方向に音源があるのかがわかる。本発明はこの方法を用いる。
各手段の具体的な方法については次の発明の実施の形態において説明する。
【０００６】
【発明の実施の形態】
図２に本発明の実施例である収音・音源分離装置の概要構成を示す。
収音手段１は両指向性マイクロホン１、収音手段２は両指向性マイクロホン１と主軸が直交するように配置された両指向性マイクロホン２、収音手段３は全指向性マイクロホン３で構成される。また、収音手段１〜３は同軸上に配置される。
【０００７】
４の指向性可変手段はそれぞれ、上記３本の収音手段の出力信号の線形和を算出して出力する。取り得る線形和とは具体的には、式（１）で表される。ここでＳ１（ｔ），Ｓ２（ｔ），Ｓ３（ｔ）は収音手段１，２，３の出力信号、Ａｉ，Ｂｊ，Ｃｋは重み付け係数、ｉ，ｊ，ｋは各収音手段を特定するインデックス、Ｐは１つの指向性パタンを特定するインデックス、Ｍ，Ｎ，Ｑはそれぞれ任意の正の整数、ｎは指向性可変手段の数とする。
【０００８】
【数１】
0003599653.tif 000002
【０００９】
次に、６の指向性選択手段について説明する。
指向性選択手段６は、音源方向情報φ１，・・・，φｎを用い、その方向の音を高いＳ／Ｎで収音できる指向性（指向性可変手段）を選択する。
一つの例として、音源方向に対し、死角を向けるような指向性を選択する方法がある。例えば、音源が２個ある場合、それぞれの音源方向に死角を向けた指向性を二つ選択する。ここで、説明のために、音源１の方向に死角を向けた指向性を指向性１、音源２の方向に死角を向けた指向性を指向性２とする。指向性１を有する指向性可変手段の出力信号は、音源１の音が抑圧され、音源２の音が高いＳ／Ｎで収音されていると期待できる。同様に、指向性２を有する指向性選択手段の出力信号は、音源２の音が抑圧され、音源１の音が高いＳ／Ｎで収音されていると期待できる。さらに、これら出力信号を従来の音源分離装置の入力信号とすることで、より精度の高い音源分離が実現できる。
【００１０】
また、音源方向に指向性の主軸を向ける指向性選択も例として挙げられる。
さらに、隣り合う音源の方向を結ぶ線分の方向に主軸を向けるよう指向性を選択する方法も例として挙げられる。例えば、部屋を２つのゾーンに分割することを考える場合、２本の単一指向性を互いに主軸方向が逆に向くようにして実現する方法が考えられる。この場合、指向性可変手段二つを使って、式（２）、（３）に示す指向性を形成し、それを入力信号として、従来の音源分離装置に供給すればよい。このとき、角度θは０＜θ＜３６０°であり、主軸の回転角度τは音源方向情報φ１，・・・，φｎで設定でき、なおかつ、マイクロホンを物理的に回転させること無くゾーン別収音を実現できる。
【００１１】
【数２】
0003599653.tif 000003
【００１２】
回転角度τを生じさせる方法を以下に説明する。
互いに主軸方向が直交するように配置された両指向性マイクロホン１，２の出力（電圧Ｅとする）はそれぞれ式（４），（５）で与えられる。
Ｅ１＝ｃｏｓθ              （４）
Ｅ２＝ｓｉｎθ              （５）
ここで、両指向性マイクロホン１，２のゲインａ，ｂを与え、両出力を加算することで、主軸方向を任意に回転可能な両指向性マイクロホンの出力を合成できる。この原理を式（６），（７）に示す。
【００１３】
【数３】
0003599653.tif 000004
【００１４】
上記方法で両指向性マイクロホンと全指向性マイクロホンの出力を加算することで、主軸方向を回転させた単一指向性を合成することができる。
指向性選択手段６で選ばれる指向性は、指向性可変手段の説明で述べたとおり、３本のマイクロホン出力の線形和で表される特性すべてであるが、具体例として単一指向性、ＭＳステレオ型指向性、などが挙げられる。
【００１５】
指向性選択手段６で選択した指向性可変手段４の出力は音源分離装置５に入力され各音源信号が分離される。
音源分離装置５の構成を図１０に示す。
この音源分離装置は特開平１０−３１３４９７号公報に記載の音源分離装置と同様な構成を備え、上記公報に記載のものは、帯域分割部にＲ，Ｌチャネルのマイクロホンの出力信号を入力するのに対し、本発明の音源分離装置は指向性選択手段６で選択された指向性可変手段４の２つの出力信号、チャネル１，２信号（２つの異なる指向性を有する指向性可変手段の出力）を入力する点で相違している。
【００１６】
チャネル１，２信号は帯域分割部５１とチャネル間時間差／レベル差検出部５２に入力され、帯域分割部５１ではそれぞれに１つの音源信号成分のみ存在する複数の周波数帯域信号（ｃｈ１（ｆ１），・・・，ｃｈ１（ｆｎ）、ｃｈ２（ｆ１），・・・，ｃｈ２（ｆｎ））に分割されて帯域別チャネル間時間差／レベル差検出部５３と音源判定信号判別部５４に入力される。音源判定信号選別部５４において、各検出部５２，５３のチャネル間時間差／レベル差検出出力に基づいて音源信号判定部５５でその帯域の帯域分割された各出力チャネル信号（ｃｈ１（ｆ１），・・・，ｃｈ１（ｆｎ）、ｃｈ２（ｆ１），・・・，ｃｈ２（ｆｎ））の何れがどの音源から入力された信号であるかが判定され、この判定結果により帯域分割された各出力チャネル信号から、同一音源から入力された信号を少なくとも一つ選択し、選択された帯域毎の成分信号は音源信号合成部５６Ａ，５６Ｂで合成され出力することで複数の音源信号が分離される。
【００１７】
なお、上記の説明では音源分離装置に指向性可変手段の２つの出力信号を入力しているが、２つ以上の出力信号を入力しても同様に複数の音源信号が分離できる。
次に、音源方向推定について説明する。
図３に本発明の音源方向推定手段を備えた収音・音源分離装置のブロック図を示す。
【００１８】
両指向性マイクロホン１，２、全指向性マイクロホン３、指向性可変手段４，音源方向推定手段７，及び指向性選択手段６から収音装置が構成され、収音装置と音源分離装置５から収音・音源分離装置が構成される。
指向性可変手段を複数個有し、その出力信号を基に音源方向検出手段７において音源方向を推定する。音源方向の推定方法については音源方向推定手段の説明で詳述する。指向性選択手段６では、７の音源方向推定手段において推定された方向の音を高いＳ／Ｎで収音できる指向性を選択する。指向性選択手段６は、図１と例と同じである。音源方向推定手段を備えた構成により、音源の方向が未知の場合でも、それを推定し、自動的に各ゾーンの音を収音できる。
【００１９】
次に、音源方向推定手段の構成例１について説明する。
図４に音源方向推定手段の構成例１のブロック図を示す。
指向性可変手段４においては、例えば、主軸方向をΔτ度毎に変えた単一指向性を（３６０／Δτ）個形成し、音源方向推定手段７へ供給する。
次に、音源方向推定手段７について説明する。
まず、指向性可変手段４の出力信号が供給された組み合わせ決定手段８においては、上記合成された指向性を二つずつの組（２つの異なる指向性を対応付けた指向性可変手段の組）にする。この組をＰｎで表す。例えば、主軸方向が反対向きになる単一指向性同士を組にする。
【００２０】
９のレベル差算出手段においては、上記組み合わせ決定手段８で組み合わされたペアの出力レベル差（組み合わされた指向性可変手段の出力の差分）を算出する。このレベル差をΔＬｎとする。
次に、１０のレベル差方向対応付け手段においては、上記組み合わせ手段で組み合わされた各ペア（Ｐｎ）に対し、上記レベル差算出手段で算出された各ΔＬｎと、ある角度θｎを対応付ける。この対応を、（Ｐｎ、ΔＬｎ、θｎ）で表す。例えば、図５に示すように、回転角度がｎΔτ度の単一指向性を有する指向性可変手段４−１と、主軸方向がそれと逆向きの単一指向性を有する指向性可変手段４−３とのペアに対しては、レベル差ΔＬｎと、回転角度ｎΔτ度と直交する方向（ｎΔτ＋９０）度を対応付ける。
【００２１】
１１のレベル差変動幅検出手段においては、上記レベル差方向対応付け手段１０で対応付けた方向の、降順または昇順にΔＬｎを並べなおし、隣接するΔＬｎ＋１との差分（ΔＬｎ，ｎ＋１）を算出する。この差分をレベル差変動幅と表す。
図６に示した方向に音源がある場合を例に説明する。
ここでは例として、角度θｎと対応付けられるレベル差ΔＬｎ、指向性可変手段はθｎと直交する方向に主軸を持つ、互いに主軸が逆向きの指向性可変手段の組を対応付ける。図６には、昇順に並べなおされた方向θｎの代表例、およびθ１と対応付けられた指向性可変手段４−１、および４−３を図示してある。ΔＬｎは、指向性可変手段４−１のレベルから指向性可変手段４−３のレベルを引いたものと定義する。この場合に、ΔＬｎとθｎの関係をグラフに示したのが図７である。ちょうど、音源方向を境に、ΔＬｎの値が大きく変動していることがわかる。すなわち、レベル差変動幅はΔＬｎ，ｎ＋１のときに最大になることがわかる。
【００２２】
レベル差変動幅Δｎの値が大きく変動するとは、言い換えれば指向性の方向が音源をまたぐ時に生じるレベル差の有意な正負の変化を意味する。図７では、レベル差ΔＬｎを、指向性可変手段４−１の出力から指向性可変手段４−３の出力を減算したものとする。この場合、θ１〜θｎまでは、音源は指向性可変手段４−１の出力が、指向性可変手段４−３の出力に比べ大きい側にあるため、レベル差ΔＬｎは正値を取る。しかし、θｎを越えると、今度は音源は、指向性可変手段４−３の出力が、指向性可変手段４−１の出力に比べて大きい側にあることになり、レベル差ΔＬｎは負の値を取ることになる。
【００２３】
１２のレベル差変動方向対応付け手段では、例えば、ΔＬｎ，ｎ＋１のときにはθｎを対応させる。ここで、対応付けのほかの例として、｛（θｎ＋（θｎ＋１）｝／２を対応付けてもよい。
１３のレベル差変動ピーク検出手段においては、レベル差変動幅が最大になる（ΔＬｎ，ｎ＋１，θｎ）を検出する。ここで、検出されるピークの個数は一つである必要は無く、変動が大きいところから順に複数個とってもよい。例えば、ある閾値ｋを越える変動幅はすべて検出する、という方法を採れば、複数音源が同時に鳴っている場合でも複数音源の方向を検出できる。
【００２４】
１４の方向検出手段においては、上記レベル差変動ピーク検出手段で検出されたΔＬｎ，ｎ＋１に対応する方向θｎを検出する。ここでも、上記に述べたように、θｎは複数個検出してもよい。上記のように検出された音源方向の情報は、指向性選択手段に送られる。
次に、音源方向推定手段の構成例２について説明する。
図８に音源方向推定手段の構成例２のブロック図を示す。
【００２５】
これは、音源方向の推定を、図４の音源方向推定手段に比べて精度良く行うためのものである。図４の音源方向推定手段では、指向性可変手段で合成した指向性により生じるレベル差を算出する。しかし、部屋の反射等が無視できない環境においては、電気的に合成した指向性は鈍くなる。例えば、無響室においては死角と主軸方向とのレベル差が３０ｄＢ以上つくような単一指向性であっても、反射がある通常の部屋では、１０ｄＢから１５ｄＢ程度の差しか生じなくなる。その結果、レベル差変動ピーク検出手段において誤差が生じる可能性が高まる。
【００２６】
そこで、方向によるレベル差をより大きく生じさせ、レベル差変動ピーク検出手段における推定精度を上げるために、以下の処理を行う。
ここで、指向性可変手段および組み合わせ決定手段は、図４の場合と同様とする。すなわち、指向性可変手段においては、主軸方向をΔτ度毎に変えた単一指向性を３６０／Δτ個形成し、音源方向検出手段へ供給する。信号を供給された組み合わせ決定手段においては、上記合成された指向性を二つずつの組にする。ここでは、主軸方向が反対向きになる指向性同士を組にする。
【００２７】
次に、１５の帯域分割手段において、組み合わせ決定手段８でペアにされた指向性可変手段からの出力信号を、それぞれ、複数の周波数帯域に分割する。帯域分割の際、一つの周波数帯域に含まれる成分が単独音源からの周波数のみで生成されていると近似できる程度に細かく分割する。この帯域分割の方法には、例えば、フーリエ変換が用いられる。帯域分割された信号は１６の帯域別差分算出手段へ供給される。
【００２８】
１６の帯域別差分算出手段は、各周波数帯域において、組み合わせ決定手段でペアにされた指向性可変手段からの出力信号レベル差を算出する。これを帯域別レベル差と呼ぶ。ここでは、指向性可変手段４−１のレベルから指向性可変手段４−３のレベルを引いた値を帯域別レベル差と定義する。
１７の信号判定手段においては、あらかじめ決められた基準に基づき、帯域別レベル差の値に応じて周波数帯域をグルーピングする。例えば、帯域別レベル差が正の値をとる周波数帯域と、負の値をとる周波数帯域を分けてグルーピングする。
【００２９】
９のレベル差算出手段では、指向性可変手段４の出力信号のうち、帯域別レベル差が正の値をとる周波数帯域を合わせた信号のレベルを、あらためて、指向性可変手段４−１のレベルとする。同様に、指向性可変手段４−３の出力信号のうち、帯域別レベル差が負の値をとる周波数帯域を合わせた信号のレベルを、あらためて、指向性可変手段４−３のレベルとする。そして、この新たに決められた指向性可変手段４−１のレベルと指向性可変手段４−３のレベルの差分ΔＬｎを算出する。
【００３０】
上記組み合わせ手段で組み合わされた各ペアに対し、上記レベル差算出手段で算出された各ΔＬｎとある角度θｎを対応付ける。例えば、回転角度がｎΔτ度の単一指向性と、主軸方向がそれに直交する単一指向性との組においては、レベル差ΔＬｎと、回転角度ｎΔτと直交する方向（ｎΔτ＋９０）度を対応付ける。
その他の手段については、図４の場合と同じである。
次に音源方向推定手段の構成例３について説明する。
【００３１】
図９に音源方向推定手段の構成例３のブロック図を示す。
指向性可変手段４において、死角方向がΔτ°毎に異なる指向性を合成する。例えば、単一指向性の死角がΔτ°毎に異なるように合成する。
音源方向推定手段７においては、まず１８のレベル算出手段で、上記指向性可変手段４それぞれの出力信号レベルを算出する。
１９のレベル順位付け手段においては、上記レベル算出手段で算出されたレベルを降順または昇順に並べ替える。
【００３２】
２０のレベル小方向検出手段においては、上記レベル順位付け手段において順位付けられたレベルのうち、小さいものから少なくとも一つ選び、そのレベルに対応する指向性可変手段の死角方向を音源方向として検出する。ここで、検出するレベル（及びそれに対応する死角方向）は複数でもよい。ある閾値を設定し、その閾値以下となるレベルを持つ死角方向を検出することで、音源が複数であっても、それらの方向を検出することができる。
【００３３】
なお、本発明の収音装置及び収音・音源分離装置をＣＰＵやメモリ等を有するコンピュータとアクセス主体となるユーザが利用するユーザ端末と記録媒体から構成することができる。
記録媒体はＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等のコンピュータ読み取り可能な記録媒体であり、ここに記録された収音方法あるいは収音・音源分離方法を実行させるプログラムはコンピュータに読み取られコンピュータの動作を制御しコンピュータ上に前述した実施の形態における各構成要素を実現する。
【００３４】
【発明の効果】
本発明は、３本のマイクロホンで収音された信号の線形和を算出することで入力手段が持つ指向特性を電気的に可変し、従来、同一ゾーンに含まれるため分離が不可能であった音源に対しても、マイクロホンを物理的に動かすことなくゾーンを切り替え、個々の音源を分離抽出することを可能とする。（課題１に対する効果）。
【００３５】
さらに、２本の両指向性マイクロホンと１本の全指向性マイクロホンを用いて音源方向を推定することで、マイクロホンの本数および規模を替えることなく、音源方向推定を可能とする（課題２に対する効果）。
さらに、指向性選択手段により、推定された音源方向に応じてゾーンを分割するのに適した指向性を選択することで、音源の位置に拠らず自律的にゾーン毎の音を分離抽出することができる。
【図面の簡単な説明】
【図１】音源方向推定の説明図。
【図２】本発明の収音・音源分離装置の概略構成図。
【図３】本発明の音源方向推定手段を備えた収音・音源分離装置のブロック図。
【図４】本発明の音源方向推定手段の構成例１のブロック図。
【図５】指向性可変手段の組と方向θｎの対応付けの例を説明する図。
【図６】音源方向θ１と対応付けられた指向特性可変手段の例を説明する図。
【図７】レベル差方向対応付け手段で対応付けられたレベル差を方向の昇順に並べなおした例を示す図。
【図８】本発明の音源方向推定手段の構成例２のブロック図。
【図９】本発明の音源方向推定手段の構成例３のブロック図。
【図１０】本発明の音源分離装置のブロック図。
【符号の説明】
１，２    両指向性マイクロホン
３      全指向性マイクロホン
４            指向性可変手段
５      音源分離装置
６      指向性選択手段
７      音源方向推定手段
８      組み合せ決定手段
９      レベル差算出手段
１０      レベル差方向対応付け手段
１１      レベル差変動幅検出手段
１２            レベル差変動方向対応付け手段
１３      レベル差変動ピーク検出手段
１４      方向検出手段
１５            帯域分割手段
１６      帯域別差分算出手段
１７      信号判定手段
１８      レベル算出手段
１９      レベル順位付け手段
２０            レベル小方向検出手段
５１      帯域分割部
５２      チャネル間時間差／レベル差検出部
５３      帯域別チャネル間時間差／レベル差検出部
５４      音源判定信号選別部
５５      音源信号判定部
５６      音源信号合成部
【図１】
0003599653.tif 000005
【図２】
0003599653.tif 000006
【図３】
0003599653.tif 000007
【図４】
0003599653.tif 000008
【図５】
0003599653.tif 000009
【図６】
0003599653.tif 000010
【図７】
0003599653.tif 000011
【図８】
0003599653.tif 000012
【図９】
0003599653.tif 000013
【図１０】
0003599653.tif 000014