(57)【特許請求の範囲】
【請求項１】
複数のマイクロホンと信号処理装置から構成されるマイクロホンアレイ装置であって、
軸方向に沿って配置した一つ又は複数のマイクロホンと、
前記複数のマイクロホンの受音信号を処理し、軸方向に沿った単一指向性または両指向性パターンの受音信号を基にして任意方向に対する指向性受音信号を推定する必須機能である指向性受音信号計算機能を持ち、更に音源方向検出機能と雑音抑制機能のうち少なくとも一つの機能を同時に保持する受音信号処理部とを備え、
前記複数のマイクロホンが無指向性マイクロホンであって、少なくとも２つの無指向性マイクロホンを第１の軸方向に並べ、少なくとも２つの無指向性マイクロホンを前記第１の軸と直交する第２の軸方向に並べ、
前記受音信号処理部は、前記第１の軸の正方向の単一指向性推定受音信号と前記第２の軸の正及び負方向の両指向性推定受音信号とを基に任意方向の指向性受音信号計算機能を保持することを特徴とするマイクロホンアレイ装置。
【請求項２】
複数のマイクロホンと信号処理装置から構成されるマイクロホンアレイ装置であって、
軸方向に沿って配置した一つ又は複数のマイクロホンと、
前記複数のマイクロホンの受音信号を処理し、軸方向に沿った単一指向性または両指向性パターンの受音信号を基にして任意方向に対する指向性受音信号を推定する必須機能である指向性受音信号計算機能を持ち、更に音源方向検出機能と雑音抑制機能のうち少なくとも一つの機能を同時に保持する受音信号処理部とを備え、
前記複数のマイクロホンが単一指向性マイクロホンであって、第１の単一指向性マイクロホンの指向性を第１の軸の正方向とし、第２および第３の単一指向性マイクロホンの指向性をそれぞれ前記第１の軸と直交する第２の軸の正および負方向とし、
前記受音信号処理部は、前記第１の軸の正方向の単一指向性受音信号と前記第２の軸の正及び負方向の両指向性受音信号とを基に任意方向の指向性受音信号計算機能を保持することを特徴とするマイクロホンアレイ装置。
【請求項３】
複数のマイクロホンと信号処理装置から構成されるマイクロホンアレイ装置であって、
軸方向に沿って配置した一つ又は複数のマイクロホンと、
前記複数のマイクロホンの受音信号を処理し、軸方向に沿った単一指向性または両指向性パターンの受音信号を基にして任意方向に対する指向性受音信号を推定する必須機能である指向性受音信号計算機能を持ち、更に音源方向検出機能と雑音抑制機能のうち少なくとも一つの機能を同時に保持する受音信号処理部とを備え、
前記複数のマイクロホンが単一指向性マイクロホンと両指向性マイクロホンであって、前記単一指向性マイクロホンの指向性を第１の軸方向とし、前記両指向性マイクロホンの指向性を前記第１の軸と直交する第２の軸方向とし、
前記受音信号処理部は、前記第１の軸の正方向の単一指向性受音信号と前記第２の軸の正及び負方向の両指向性受音信号とを基に任意方向の指向性受音信号計算機能を保持することを特徴とするマイクロホンアレイ装置。
【請求項４】
前記受音信号処理部が、前記指向性受音信号計算機能により推定した受音信号の各軸方向のパワーと相互相関を用いて音源方向の検出を行なう音源方向検出機能を保持する請求項１〜３のいずれか１項に記載のマイクロホンアレイ装置。
【請求項５】
前記受音信号処理部が、前記指向性受音信号計算機能と前記音源方向検出機能とを同時に保持し、前記音源方向検出機能により話者の方向を特定し、前記指向性受音信号計算機能により前記話者の方向に対する方向の指向性受音信号を計算して目的音強調処理を行ない、動的に任意方向の話者の声を強調する請求項４に記載のマイクロホンアレイ装置。
【請求項６】
可動カメラを備え、前記指向性受音信号計算機能と前記音源方向検出機能とを同時に用いて、可動カメラの撮影方向に対する受音指向性向上と可動カメラ撮影者による音声入力に対する受音指向性向上とを切り替えて実行する請求項５に記載のマイクロホンアレイ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マイクロホンアレイ装置に関する。各マイクロホンにおいて受音した音声信号に対して様々な信号処理を施して多様な機能を得る装置に関する。
【０００２】
【従来の技術】
以下、従来技術を利用した音声信号処理技術について説明する。
【０００３】
音場内に複数の目的音と雑音の音源がある場合、目的音強調、音源方向検出、雑音抑制は、音声信号処理の中心的課題であり、アプリケーションとしても、動画・音声記録、ボイスメモ、ハンズフリーテレホン、ＴＶ会議システム、来客受付システム等の様々なものが想定される。この目的音強調、雑音抑制、音源方向検出処理を実現するために様々な音声信号処理技術が開発されている。
【０００４】
従来は上記目的音強調、雑音抑制、音源方向検出処理に用いるための入力音声信号を得るため、アプリケーションごとに適したマイクロホンが用いられている。小型のビデオカメラにはＭＳ（Mid-side）方式のステレオマイクロホンが広く用いられている。また、近年、ワードプロセッサなどのアプリケーションソフトウェアにおいて音声入力を利用するパーソナルコンピュータでは単一指向性マイクロホンが用いられ、適した明瞭な入力音声信号が得られるように構成されている。これらマイクロホンは用途とコスト面とを考慮して適したものが利用されているが、言わば指向性や用途が決められている単用途のマイクロホンであり、また、受音した音声信号処理もアプリケーションに求められている音声信号処理に用いられるのみである。
【０００５】
【発明が解決しようとする課題】
従来のビデオカメラや音声入力可能なパーソナルコンピュータなど、アプリケーションごとに適したマイクロホンを用意し、当該アプリケーションが必要とする音声処理のみを実行する音声信号処理を伴う装置では、言わば、マイクロホンおよび音声処理機能それぞれが単機能のものであり、用途が拡がり、より柔軟な指向性受音処理、音源方向検出処理、雑音抑制処理が求められ、あるアプリケーションでは従来は必要とされていなかった機能が求められる場合がある。この場合には、従来の単機能マイクロホンを用いた装置構成のままでは対応できないため求められる機能に適したマイクロホンに交換し、また、受音信号の音声信号処理部分も当該機能を保持するものに交換する必要があった。
【０００６】
また、利用形態が拡がるにつれ、指向性受音処理、音源方向検出処理、雑音抑制処理など各種音声信号処理を複数組み合わせて利用する場合も想定される。この場合には、各単機能のマイクロホンをそれぞれ備えておき、各々個別に音声信号処理を行ない、その後、それぞれの結果を組み合わせた音声信号処理を行なう必要があった。しかしながら、マイクロホンの本数が多くなり、装置規模が大きくなってしまうという欠点があった。また、要求される複数の音声信号処理を行うために必要とされる数のマイクロホンを必要な方向に物理的に配置することが難しい場合も想定される。
【０００７】
本発明のマイクロホンアレイ装置は、アプリケーション、音声信号処理機能の別によらず、従来必要とされていたマイクロホンの交換および音声信号処理部分の交換を不要とすることを目的とし、さらに、同じマイクロホン構成により、各種音声信号処理を複数組み合わせた音声信号処理機能を達成することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明のマイクロホンアレイ装置は、パーソナルコンピュータといった信号処理機能を持つ機器をプラットフォームとするマイクロホンアレイ装置であって、軸方向に沿って配置した一つ又は複数のマイクロホンと、前記複数のマイクロホンの受音信号を信号処理し、軸方向に沿った単一指向性または両指向性パターンの受音信号を基にして任意方向に対する指向性受音信号を計算する指向性受音信号計算機能を持ち、更に音源方向検出機能と雑音抑制機能の音声処理機能のうち少なくとも一つ以上の機能を保持する受音信号処理部とを備えたことを特徴とする。
【０００９】
上記構成により、パーソナルコンピュータを用いて複数のマイクロホンを備えたマイクロホンアレイを構築でき、マイクロホンアレイからの複数の受音信号処理を基に、任意方向の指向性受音信号計算機能と音源方向検出機能と雑音抑制機能を含む複数の音声処理機能を装置に持たせることが可能となる。
【００１０】
ここで、前記複数のマイクロホンが無指向性マイクロホンであって、少なくとも２つの無指向性マイクロホンを第１の軸方向に並べ、少なくとも２つの無指向性マイクロホンを前記第１の軸と直交する第２の軸方向に並べると、前記受音信号処理部が、前記１の軸の正方向の単一指向性推定受音信号と前記第２の軸の正及び負方向の両指向性推定受音信号とを基に任意方向の指向性受音信号計算機能を保持することが可能となり、また、前記複数のマイクロホンが単一指向性マイクロホンであって、第１の単一指向性マイクロホンの指向性を第１の軸の正方向とし、第２および第３の単一指向性マイクロホンの指向性をそれぞれ前記第１の軸と直交する第２の軸の正および負方向として並べると、前記受音信号処理部が、前記１の軸の正方向の単一指向性受音信号と前記第２の軸の正及び負方向の両指向性受音信号とを基に任意方向の指向性受音信号計算機能を保持することが可能となり、また、前記複数のマイクロホンが単一指向性マイクロホンと両指向性マイクロホンであって、前記単一指向性マイクロホンの指向性を第１の軸方向とし、前記両指向性マイクロホンの指向性を前記第１の軸と直交する第２の軸方向とすると、前記受音信号処理部が、前記１の軸の正方向の単一指向性受音信号と前記第２の軸の正及び負方向の両指向性受音信号とを基に任意方向の指向性受音信号計算機能を保持することが可能となる。さらに、前記受音信号処理部が、前記指向性受音信号計算機能により計算した受音信号の各軸方向のパワーと相互相関を用いて音源方向の検出を行なう音源方向検出機能を保持することが可能となる。
【００１１】
【発明の実施の形態】
本発明のマイクロホンアレイ装置の各実施形態について図面を参照しつつ説明する。
【００１２】
（実施形態１）
実施形態１のマイクロホンアレイ装置は、パーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置してマイクロホンアレイを構成し、それらマイクロホンの受音信号を信号処理して、軸方向に沿った単一指向性または両指向性パターンの受音信号を得て、それら得た受音信号を基にして任意方向に対する指向性受音信号を計算する指向性受音信号計算機能を持ち、さらに、音源方向検出機能、雑音抑制機能、音声処理機能を持つものである。
【００１３】
図１は、パーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置したマイクロホンアレイの構成図である。ここでは軸として図１に示したＸ軸とＹ軸の直交する２軸を利用する例を示す。なお、軸はＸＹＺの３軸を用いても良く、また、相互に直交していない軸でも良い。
【００１４】
マイクロホンアレイ部１０は、Ｘ軸方向に配置された複数のマイクロホン１１とＹ軸方向に配置された複数のマイクロホン１２を持っている。マイクロホン１１、１２は無指向性マイクロホン、単一指向性マイクロホン、両指向性マイクロホンのいずれの場合も有り得る。各マイクロホンから受音された音声信号はそれぞれアナログマイクロホンインタフェースとなるコネクタ２０、マイクアンプ２１、２チャンネルアナログデジタルコンバータ３０（以下、ＡＤコンバータと略記する）を介してプラットフォームパーソナルコンピュータのバス４０を介して指向性受音信号計算部５０、音源方向検出部６０、雑音抑制部７０に接続されている。なお、指向性受音信号計算部５０、音源方向検出部６０、雑音抑制部７０は、当該機能を実現する専用デバイスとして構成しても良く、また、プラットフォームのコンピュータの中央処理装置（以下、ＣＰＵと略記する）とメモリにより当該機能を実現するように記述された処理プログラムを実行するものであっても良い。
【００１５】
図２は、図１とは別構成としたマイクロホンアレイの構成図である。この例はマイクロホンのインタフェースとしてＵＳＢ（ユニバーサルシリアルバス）インタフェースを用いた例である。なお、この例でも軸として図１に示したＸ軸とＹ軸の２軸を利用する例を示す。図２の例においてマイクロホンアレイ部１０のマイクロホン１１、１２の配置は図１と同様で良い。各マイクロホン１１、１２はＵＳＢハブ９０、コネクタ２０ａ、ＵＳＢインタフェース９１を介してバス４０に接続され、指向性受音信号計算部５０、音源方向検出部６０、雑音抑制部７０に接続されている。
【００１６】
なお、これら機能は必ずしも全部設ける必要はなく、指向性受音信号計算部と他機能一つの組み合わせとしても良く、逆に全機能を設け、さらに他の音声処理機能を付加することも可能である。
【００１７】
次に、マイクロホンの配置構成例とともに本発明のマイクロホンアレイ装置の持つ指向性受音信号計算機能、音源方向検出機能、雑音抑制機能などの受音信号処理について述べる。
【００１８】
図３に示した例はマイクロホンアレイ部１０ａの配置構成例として無指向性マイクロホン１００ａ〜ｄの４つをそれぞれＸＹ軸の正負方向に沿って配置して受音信号を得るものである。マイクロホンアレイ装置の正面方向はＸ軸負方向となっている。マイクロホン１００ａ〜ｄは、近傍位置に置かれ、こｋではマイクロホン１００ａｃ間の距離とマイクロホン１００ｂｄ間の距離を、音速をサンプリング周波数で割った値とする。１１０は遅延器であり、１サンプリング時間の遅延処理を行なう。マイクロホン１００ｃに接続されている。１２１、１２２は減算器である。
【００１９】
指向性受音信号計算部５０を中心とした指向性受音信号計算機能について説明する。図４は、指向性受音信号計算部５０の構成例である。
【００２０】
指向性受音信号計算機能は、第１段階として、まず、Ｘ軸負方向に指向性を持つ単一指向性パターンを持つマイクロホンからの受音信号と、Ｙ軸の正負方向に指向性を持つ両指向性パターンを持つマイクロホンからの受音信号を生成する。次に第２段階としてＸ軸負方向の単一指向性パターン受音信号とＹ軸の正負方向両指向性パターン受音信号から特定方向に指向性を持つ左（Ｌ）チャンネル信号と右（Ｒ）チャンネルの信号を推定する。
【００２１】
まず、第１段階の処理を説明する。
【００２２】
図３に示したように、減算器１２１により、マイクロホン１００ａの受音信号から、遅延器１１０により１サンプリング遅延されたマイクロホン１００ｃの受音信号が減算され、図５（ａ）に示すようなＸ軸負方向に単一指向性パターンを持つ受音信号が生成される。また、減算器１２２により、マイクロホン１００ｃの受音信号からマイクロホン１００ｄの受音信号が減算され、図５（ｂ）に示すようなＹ軸正負方向に両指向性パターンを持つ受音信号が生成される。なお、図５（ｂ）においてＹ軸正方向はプラスの指向性、Ｙ軸負方向はマイナスの指向性となっている。
【００２３】
次に第２段階の処理を説明する。
【００２４】
左チャンネル方向の指向性パターンを持つ受音信号の生成処理を以下に示す。図４に示すように指向性受音信号計算部５０の減算器１２３に、減算器１２１からの出力信号である図５（ａ）の単一指向性パターンを持つ受音信号と、減算器１２２からの出力信号である図５（ｂ）の両指向性パターンを持つ受音信号が入力され、前者から後者を減算する。減算により図６（ａ）に示す２チャンネルステレオ受音時の左チャンネル信号受音用の指向性パターンを持つ受音信号が計算できる。図６（ａ）では、正面方向に対して約４５度の角度を持つ指向性パターンを示したが、この角度は調整可能であり、任意方向に対する指向性パターンを得ることができる。つまり、減算器１２１、１２２の出力信号のゲインを調整した後、減算器１２３に入力して減算処理すれば良い。例えば、減算器１２１の出力信号のゲインを大きくし、減算器１２２のゲインを小さくして減算器１２３において前者から後者を減算すれば、得られる指向性パターンは図６（ａ）に比べ、指向性の強い方向がより正面方向に近い指向性パターンとなる。
【００２５】
右チャンネル方向の指向性パターンを持つ受音信号の生成処理を以下に示す。減算器１２４に、減算器１２１からの出力信号である図５（ａ）の単一指向性パターンを持つ受音信号と、減算器１２２からの出力信号である図５（ｂ）の両指向性パターンを持つ受音信号が入力され、前者と後者を加算する。加算により図６（ｂ）に示す２チャンネルステレオ受音時の右チャンネル信号受音用の指向性パターンを持つ受音信号が計算できる。このプラスの指向性とマイナスの指向性パターンの角度を調整することが可能であることは左チャンネルの場合と同様である。
【００２６】
次に、音源方向検出部６０を中心とした音源方向検出機能を説明する。音源方向検出は、Ｘ軸負方向（正面方向）の単一指向性パターンによる受音信号とＹ軸正負方向の両指向性パターンによる受音信号とのパワーと相互相関係数を利用して行なう。
【００２７】
図７は、音源方向検出部６０の構成例である。音源方向検出部６０はパワー比計算部１３０、相互相関係数計算部１４０、判定部６１を備えている。減算器１２１から図５（ａ）に示すようなＸ軸負方向に単一指向性パターンを持つ受音信号が入力され、また、減算器１２２から図５（ｂ）に示すようなＹ軸正負方向に両指向性パターンを持つ受音信号が入力される。
【００２８】
音源方向検出の基本原理を説明しやすいように、音声入力信号がインパルス信号であるとする。図８にＸ軸負方向０度方向（正面方向）からのインパルス音源に対する減算器１２１による単一指向性パターン受音信号（ａ）、減算器１２２による両指向性パターン受音信号（ｂ）を示す。同様に図９、図１０、図１１にそれぞれＸ軸負方向９０度、１８０度、２７０度方向からのインパルス音源に対する減算器１２１による単一指向性パターン受音信号（ａ）、減算器１２２による両指向性パターン受音信号（ｂ）を示す。
【００２９】
パワー比計算部１３０は減算器１２１および減算器１２２の出力信号のパワー、つまり上記図８（ａ）、（ｂ）〜図１１（ａ）、（ｂ）のそれぞれの受音信号に対するパワーの比を計算する。それぞれ減算器１２１による単一指向性パターン受音信号のパワーを（ｃ）、減算器１２２による両指向性パターン受音信号のパワーを（ｄ）に示す。
【００３０】
次に、相互相関係数計算部１４０は、上記図８（ａ）、（ｂ）〜図１１（ａ）、（ｂ）それぞれの減算器１２１による単一指向性パターン受音信号と減算器１２２による両指向性パターン受音信号の相互相関係数を計算する。減算器１２１からの信号をｍ(ｔi)、減算器１２２からの信号をｎ(ｔi)とすると、相互相関係数Ｒは、次式で計算できる。
【００３１】
【数１】
0003789685.tif 000002
【００３２】
ここでｌ（上記（数１）の英語小文字のエル）は相互相関係数を計算する際のサンプル数で、一般に数百以上の値である。
【００３３】
（数１）で計算する相互相関係数Ｒは、−１.０以上１.０以下の値になり、二つの信号ｍ(ｔi)とｎ(ｔi)がどれだけ似ているかを示す。例えば、
Ｒ＝１.０の場合：ｍ(ｔi)とｎ(ｔi)は、振幅と位相が同じ（同じ波形の信号）
Ｒ＝０.０の場合：ｍ(ｔi)とｎ(ｔi)は、無相関（全く似ていない）
Ｒ＝−１.０の場合：ｍ(ｔi)とｎ(ｔi)は、振幅が同じで位相が逆（信号の振幅の符号が逆）などが分かる。
【００３４】
（数１）により計算した相互相関係数計算結果をそれぞれ（ｅ）に示す。
【００３５】
ここで、単一指向性パターン受音信号のパワーと両指向性パターン受音信号パワーの比、及び、相互相関係数を用いて音源方向を推定する。音源方向の推定処理方法として、Ｘ軸負方向を０度とした場合の０度、９０度、１８０度、２７０度のいずれの方向にインパルスを出力する音源があるか否かを判定する処理方法を説明する。
【００３６】
まず、単一指向性と両指向性のパワー比Ｐを求める。つまり、Ｐ＝両指向性パターン受音信号パワー／単一指向性パターン受音信号パワーを求める。次に以下に示す閾値Ｔｐ、ＴＲ１、ＴＲ２を導入し、単一指向性と両指向性のパワー比ＰとＴｐの比較、相互相関係数ＲとＴＲ１、ＴＲ２との比較を行なう。ここでＴｐは正の値とし、ＴＲ１は負の値、ＴＲ２は正の値とし、後述するようにそれぞれ適当な閾値を設定すると図１２に示すような４つのパターンに分類することができる。
【００３７】
図８〜図１１に示したインパルス音源に対する例では、閾値はそれぞれＴｐ＝０.１、ＴＲ１＝−０.２、ＴＲ２＝０.２とすれば音源方向が０度、９０度、１８０度、２７０度のいずれであるかを推定することができる。
【００３８】
また、音源方向の推定処理にあたり、上記閾値による判断ではなく、単一指向性と両指向性のパワー比Ｐと相互相関係数Ｒの２つの値をパラメタ値として０度〜３６０度の各方向に音源がある場合の値を事前に求めておけば、実測した単一指向性と両指向性のパワー比Ｐと相互相関係数Ｒの２つのパラメタ値から音源方向を求めることもできる。
【００３９】
次に、雑音抑制部７０における雑音抑制機能について説明する。雑音抑制は、各マイクロホンからの受音信号のうち、雑音源方向の受音信号成分を相互に減算すれば消去することができる。なお、音源方向検出部６０により目標音源方向が推定でき、当該方向に指向性を合わせれば他の方向からの雑音成分は抑制できることは言うまでもない。
【００４０】
以上、本発明のマイクロホンアレイ装置によれば、プラットフォームとなるパーソナルコンピュータに複数のマイクロホンを設け、指向性受音信号計算部５０、音源方向検出部６０、雑音抑制部７０の各機能を選択的に利用することができ、また、同時に複数の機能を利用することも可能である。
【００４１】
（実施形態２）
実施形態２のマイクロホンアレイ装置は、実施形態１で説明したマイクロホンアレイ装置と同様、パーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置してマイクロホンアレイを構成し、それらマイクロホンの受音信号を信号処理して、軸方向に沿った単一指向性または両指向性パターンの受音信号を得て、それら得た受音信号を基にして任意方向に対する指向性受音信号を計算する指向性受音信号計算機能を持ち、さらに、音源方向検出機能、雑音抑制機能を含む複数の音声処理機能を持つものであるが、実施形態１の複数の無指向性マイクロホンを用いる構成に代え、複数の単一指向性マイクロホンを用いる構成を説明する。
【００４２】
図１３は、実施形態２のマイクロホンアレイ装置の装置構成例である。マイクロホンアレイ部１０ｂは単一指向性マイクロホン２００ａ〜ｃの３つをそれぞれＸ軸負方向、Ｙ軸の正負方向、つまり、０度、９０度、２７０度の方向に沿って配置して受音信号を得る。なお、マイクロホンアレイ装置の正面方向はＸ軸負方向となっている。本実施形態２では、０度方向に対する単一指向性パターンの受音信号が得られているが、Ｙ軸正負方向に対する両指向性パターンの受音信号を生成する必要がある。本実施形態２の指向性受音信号計算部５０ａ、音源方向検出部６０ａ、雑音抑制部７０ａは以下のように構成されている。１２２ａは減算器である。
【００４３】
指向性受音信号計算処理の第１段階として、Ｙ軸の正負方向に指向性を持つ両指向性パターンを持つマイクロホンからの受音信号を生成する。次に第２段階としてＸ軸負方向の単一指向性パターン受音信号とＹ軸の正負方向両指向性パターン受音信号から特定方向に指向性を持つ左（Ｌ）チャンネル信号と右（Ｒ）チャンネルの信号を計算する。
【００４４】
第１段階の処理を説明する。Ｙ軸の正負方向に指向性を持つ両指向性パターンを持つマイクロホンからの受音信号の生成は、減算器１２２ａによりマイクロホン２００ｂの受音信号からマイクロホン２００ｃの受音信号が減算され、図５（ｂ）に示すようなＹ軸正負方向に両指向性パターンを持つ受音信号が生成される。
【００４５】
第２段階の左（Ｌ）チャンネル信号と右（Ｒ）チャンネルの信号の計算処理は実施形態１に示したものと同様である。実施形態１で示した図４の入力信号は、減算器１２１からの入力信号とされているものが、単一指向性マイクロホン２００ａからの受音信号となり、減算器１２２からの入力信号とされているものが、減算器１２２ａからの入力信号となる。実施形態１と同様、減算器１２３による単一指向性パターンの受音信号から両指向性パターンの受音信号の減算結果が左チャンネル信号となり、加算器１２４による単一指向性パターンの受音信号と両指向性パターンの受音信号の加算結果が右チャンネル信号となる。
【００４６】
音源方向検出部６０ａの処理、雑音抑制部７０ａの処理も実施形態１に示したものと同様であるのでここでは適宜省略する。
【００４７】
図１３に示したように指向性受音信号計算部５０ａ、音源方向検出部６０ａ、雑音抑制部７０ａの各機能は、実施形態１と同様、指向性受音信号計算機能と他機能を同時に利用することが可能である。
【００４８】
（実施形態３）
実施形態３のマイクロホンアレイ装置は、パーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置してマイクロホンアレイを構成し、それらマイクロホンの受音信号を信号処理して、軸方向に沿った両指向性パターンの受音信号を得て、それら得た受音信号を基にして任意方向に対する指向性受音信号を計算する指向性受音信号計算機能を持ち、さらに、音源方向検出機能、雑音抑制機能の音声処理機能を持つものである。本実施形態３では単一指向性マイクロホンと両指向性マイクロホンを用いる構成である。
【００４９】
図１４は、実施形態３のマイクロホンアレイ装置の装置構成例である。マイクロホンアレイ部１０ｃはＸ軸負方向（０度方向）に指向性を持つ単一指向性マイクロホン２００ｄとＹ軸の正負方向（９０度、２７０度）に指向性を持つ両指向性マイクロホン３００ａを配置して受音信号を得る。本実施形態３では、０度方向に対する単一指向性パターンの受音信号およびＹ軸正負方向に対する両指向性パターンの受音信号がマイクロホン２００ｄ、３００ａにより得られているので、実施形態１の減算器１２１、１２２、実施形態２の減算器２２２に当たる減算器は必要ない。指向性受音信号計算部５０ｂ、音源方向検出部６０ｂ、雑音抑制部７０ｂが設けられている。
【００５０】
指向性受音信号計算部５０ｂによる左（Ｌ）チャンネル信号と右（Ｒ）チャンネルの信号の計算処理は実施形態１、２に示したものと同様であり、従来からあるＭＳマイクと同様である。実施形態１で示した図４の入力信号は、減算器１２１からの入力信号とされているものが、単一指向性マイクロホン２００ｄからの受音信号となり、減算器１２２からの入力信号とされているものが、両指向性マイクロホン３００ａからの入力信号となる。実施形態１と同様、減算器１２３による単一指向性パターンの受音信号から両指向性パターンの受音信号の減算結果が左チャンネル信号となり、加算器１２４による単一指向性パターンの受音信号と両指向性パターンの受音信号の加算結果が右チャンネル信号となる。
【００５１】
音源方向検出部６０ｂの処理、雑音抑制部７０ｂの処理も、実施形態１に示したものと同様であるのでここでは適宜省略する。
【００５２】
なお本実施形態３においても、図１４に示したように指向性受音信号計算部５０ｂ、音源方向検出部６０ｂ、雑音抑制部７０ｂの各機能は、実施形態１と同様、指向性受音信号計算機能と他機能を同時に利用することが可能である。
【００５３】
（実施形態４）
実施形態４のマイクロホンアレイ装置は、カメラを備え、可動カメラを制御するパーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置してマイクロホンアレイを構成し、それらマイクロホンの受音信号を信号処理して、軸方向に沿った単一指向性または両指向性パターンの受音信号を得て、それら得た受音信号を基にして任意方向に対する指向性受音信号を計算する指向性受音信号計算機能を持つものである。マイクロホンの指向性パターンの調整方法として、遅延器の遅延サンプル数とゲインを調整することにより簡便に行なう方法を示す。
【００５４】
図１５は、実施形態４のマイクロホンアレイ装置の装置構成例である。
【００５５】
マイクロホンアレイ部１０ａはＸ軸負方向（０度）、Ｙ軸正方向（９０度）、Ｘ軸正方向（１８０度）、Ｙ軸負方向（２７０度）の方向に並べられた無指向性マイクロホン１００ａ〜ｄを備えている。マイクロホン１００ａ〜ｄの出力にはそれぞれ遅延器１１０ａ〜ｄが接続されており、さらに遅延器１１０ａ〜ｄの出力がゲイン器１５０ａ〜ｄに接続されている。１６０は可動式カメラであり、カメラの撮影方向を０度〜３６０度まで回転可能である。ここでは説明の便宜上、０度、９０度、１８０度、２７０度の４つの方向間で回転するものとする。カメラの向き検出器１７０はカメラ１６０の撮影方向を検出する。例えばカメラ台座に対するカメラの筐体軸の標準方向を決め、その方向からの回転量を検出すれば良い。１８０は遅延サンプル数調整部である。カメラの向き検出器１７０により検出されたカメラ撮影方向に基づいて各遅延器１１０ａ〜ｄの遅延サンプル数が図１６に示す遅延サンプル数となるように調整する。１９０はゲイン量調整部である。カメラの向き検出器１７０により検出されたカメラ撮影方向に基づいて各ゲイン器１５０ａ〜ｄのゲイン量が図１６に示すゲイン量となるように調整する。また、後述するように指向性受音信号計算部５０ｃ内部のゲイン器１５０ｅ〜ｆのゲイン量も調整する。
【００５６】
１２１ｃおよび１２２ｃは加算器であり、前者は遅延およびゲイン処理済みのマイクロホン１００ａの出力信号とマイクロホン１００ｃの出力信号を加算するものであり、後者は遅延およびゲイン調整済みのマイクロホン１００ｂの出力信号とマイクロホン１００ｄの出力信号を加算するものである。
【００５７】
次に、指向性受音信号計算部５０ｃの構成例を図１７に示す。図４の指向性受音信号計算部５０に比べ、ゲイン器１５０ｅ〜ｈにより、カメラ１６０の撮影方向に応じた＋１.０または−１.０のゲイン量が調整されている。ゲイン器１５０ｅ〜ｈは、ゲイン量調整部１９０によりそのゲイン量が図１６に示すように調整される。１２３ｃは加算器であり、１２４ｃは加算器であり、図４の加算器１２４と同様のものである。
【００５８】
加算器１２３ｃの出力が左チャンネル出力信号となり、加算器１２４ｃの出力が右チャンネル出力信号となる。
【００５９】
図１６に示したカメラの向きに対する各遅延器および各ゲイン器の遅延サンプル数およびゲイン量によれば以下の効果が得られる。つまり、遅延器の調整に注目すると、カメラの向きに対して一番奥側に配置された無指向性マイクロホンに接続された遅延器（つまり、カメラ撮影方向が０度の場合なら遅延器１５０ｃ、９０度の場合は遅延器１５０ｄ）の遅延サンプル数が１サンプルと設定され、それ以外の遅延器の遅延サンプル数は０とされている。これによりカメラの向きが０度、９０度、１８０度、２７０度のいずれであっても、その音源方向、無指向性マイクロホンと遅延器の構成の点から実施形態１で説明した図３の構成と等価となる。次に、ゲイン器１５０ａ〜１５０ｄのゲイン調整に注目すると、４つのゲイン器１５０ａ〜１５０ｄのゲイン量が＋１.０または−１.０となり、カメラの方向がいずれであっても加算器１２１ｃと加算器１２２ｃの働きが、図３の加算器１２１と１２２による減算処理と等価となるように決められている。
【００６０】
また、指向性受音信号計算部５０ｃのゲイン器１５０ｅ〜１５０ｈのゲイン調整に関しても、カメラの方向がいずれであっても加算器１２３ｃと加算器１２４ｃそれぞれの演算処理が実施形態１の図３の減算器１２３による減算処理と加算器１２４による加算処理と等価となるようにゲイン量が調整されている。
【００６１】
このように、可動式カメラの撮影方向が０度、９０度、１８０度、２７０度のいずれであっても遅延器１１０ａ〜ｄの遅延サンプル数、ゲイン器１５０ａ〜ｈのゲイン量を調整することにより、実施形態１に示した指向性受音信号計算部５０と同様の働きをする指向性受音信号計算部５０ｃを構成することができる。
【００６２】
次に、音源方向検出部６０ｃの構成について述べる。音源方向検出方法として実施形態１と同様、カメラ正面方向の単一指向性パターンによる受音信号とＹ軸正負方向の両指向性パターンによる受音信号とのパワー相互相関係数を利用して行なうものであるが、遅延器の遅延サンプル数とゲイン量が調整される。
【００６３】
図１８は音源方向検出部６０ｃの構成例を示す図である。
【００６４】
音源方向検出部６０ｃは、パワー比計算部１３０ｃ、相互相関係数計算部１４０ｃ、判定器６１ｃを備えている。図１７のようにパワー計算部１３０ｃには加算器１２１Ｃ、１２２Ｃの出力信号が入力され、相互相関係数計算部１４０ｃには加算器１２１ｃ、１２２ｃの出力信号が入力される。この音源方向検出部６０ｃの各要素の働きは実施形態１に示した音源方向検出部６０の各要素と同様の働きであり、ここでの詳しい説明は省略する。
【００６５】
以上のように、可動式カメラの撮影方向が０度、９０度、１８０度、２７０度のいずれであっても音源方向検出部６０ｃによりカメラの向き方向に音源があるか否かを検出することができる。
【００６６】
雑音抑制部７０ｃについてもカメラ１６０の向きに応じて、同様に遅延サンプル数、ゲイン量を調整を調整し、カメラの向き方向をカメラ正面とした実施形態１と同様のものが構成できる。ここでは適宜説明を省略する。
【００６７】
（実施形態５）
実施形態５のマイクロホンアレイ装置は、カメラを備え、ビデオカメラを制御するパーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置してマイクロホンアレイを構成したものであるが、それらマイクロホンの受音信号を信号処理し、それら得た受音信号を基にしてカメラ正面方向に対する指向性受音信号計算機能と、カメラ撮影者の音声によるメモ録音機能（いわゆるボイスメモ機能）を持つものである。
【００６８】
本実施形態５では、音源方向が、被写体のカメラ正面方向（０度方向）であるか、カメラ撮影者方向（例えば、１８０度方向）のいずれかであるものとする。そのため、実施形態４に示した指向性受音信号計算機能を用いた単一指向性パターンの方向を通常は０度としておき、音源方向検出機能の検出方向をカメラ撮影者の１８０度に合わせておき、撮影者の音声が検出できれば、つまり、１８０度方向に音源があることが検出できれば、ボイスメモ機能をオンとして撮影者の話音を録音する。なお、上記のように０度、１８０度のみならず、実施形態４で示した構成を組み合わせ、任意方向に対する指向性受音計算機能、音源方向検出機能を持たせても良いことは言うまでもない。
【００６９】
ボイスメモ機能による録音は１８０度方向の単一指向性パターン受音信号をそのまま録音すれば良いが、無指向性マイクロホンからの受音信号の録音するものでも良いことは言うまでもない。以下の例では、撮影者の音声が検出できれば、ボイスメモ機能をオンとして１８０度方向の単一指向性パターン受音信号を録音して撮影者の話音を記録する構成を説明する。
【００７０】
図１９は、実施形態５のマイクロホンアレイ装置の装置構成例である。
【００７１】
マイクロホンアレイ部１０ｄの無指向性マイクロホン１００ａ〜ｄは実施形態４で示したものと同様であるが、マイクロホン１００ａと１００ｄの出力が２系統で処理されている点が異なる。１１０ｅ、１１０ｆは遅延器であり、遅延器１１０ｅはマイクロホン１００ｃの受音信号を遅延サンプル数だけ遅延させる。１１０ｆはマイクロホン１００ａの受音信号を遅延サンプル数だけ遅延させる。このようにマイクロホン１００ａと１００ｃの受音信号処理を２系統並列化することにより、０度方向の単一指向性パターンと１８０度方向の単一指向性パターンの２パターンの受音信号の生成に用いる。減算器１２１ｄ、１２２ｄは、実施形態１で説明した減算器１２１、１２２と同様であり、指向性受音信号計算部５０ｄに入力される。一方、減算器１２１ｅは、マイクロホン１００ｃの受音信号から１サンプル数遅延処理されたマイクロホン１００ａの受音信号を減算して１８０度方向の単一指向性パターン受音信号を生成するもので、音源方向検出部６０ｄに入力される。
【００７２】
指向性受音信号計算部５０ｄは、実施形態１の図４に示したものと同様であるが、実施形態１で示した図４において減算器１２１からの入力信号とされているものが、減算器１２１ｄからの信号となり、減算器１２２からの入力信号とされているものが、減算器１２２ｄからの信号となる。実施形態１と同様、減算器１２３による単一指向性パターンの受音信号から両指向性パターンの受音信号の減算結果が左チャンネル信号となり、加算器１２４による単一指向性パターンの受音信号と両指向性パターンの受音信号の加算結果が右チャンネル信号となる。
【００７３】
音源方向検出部６０ｄは、実施形態１の図７に示したものと同様であるが、図７において減算器１２１からの入力信号とされているものが、減算器１２１ｅからの信号となり、減算器１２２からの入力信号とされているものが、減算器１２２ｄからの信号となる。
【００７４】
音源方向検出部６０ｄは、カメラ撮影者方向に話者音声があるか、つまり１８０度方向に音源があるか否かを検出する。音源があると検出した場合には、音声メモスイッチ４００をオンとし、減算器１２１ｂの信号を録音部に渡し、録音する。減算器１２１ｂの信号は撮影者に対して指向性パターンを持つ音声信号であるので当該信号を音声メモとして録音する。
【００７５】
以上のように、可動式カメラの正面方向（０度）に指向性受音信号計算機能を用いた単一指向性パターンの受音を行ないつつ、カメラ撮影者方向（１８０度）に音源方向検出機能による音源検出を行ない、カメラ被写体の撮影・録音とともに良好なカメラ撮影者のボイスメモを録音することができる。
【００７６】
以上、上記に説明した各実施形態では、マイクロホンアレイ装置を構成するマイクロホン数、配置、間隔を特定値としたものは、説明の便宜上、例として挙げたものであって、限定することを意図するものでないことは言うまでもない。
【００７７】
【発明の効果】
本発明のマイクロホンアレイ装置によれば、アプリケーション、音声信号処理機能の別によらず、パーソナルコンピュータのプラットフォームに複数のマイクロホンを設け、マイクロホンアレイからの複数の受音信号処理を基に、任意方向の指向性受音信号計算機能と、更に、音源方向検出機能と雑音抑制機能の音声処理機能を装置に持たせることが可能となる。
【００７８】
本発明のマイクロホンアレイ装置によれば、１の軸の正方向の単一指向性推定受音信号と前記第２の軸の正及び負方向の両指向性推定受音信号とを基に任意方向の指向性受音信号計算機能を保持することが可能となる。
【００７９】
また、本発明のマイクロホンアレイ装置によれば、指向性受音信号計算機能により計算した受音信号の各軸方向のパワーと相互相関を用いて音源方向の検出を行なう音源方向検出機能を保持することが可能となる。
【図面の簡単な説明】
【図１】  本発明のパーソナルコンピュータをプラットフォームとして軸方向に沿って複数のマイクロホンを配置したマイクロホンアレイの構成例を示す図
【図２】  図１とは別構成としたマイクロホンアレイの構成例を示す図
【図３】  本発明のマイクロホンアレイ装置による指向性受音信号計算処理の原理を説明する図
【図４】  指向性受音信号計算部５０の構成例を示す図
【図５】  本発明のマイクロホンアレイ装置により得られるＸ軸負方向の単一指向性パターン受音信号およびＹ軸正負方向の両指向性パターン受音信号示した図
【図６】  本発明のマイクロホンアレイ装置により推定される２チャンネルステレオ受音時の左チャンネル信号受音用の指向性パターン受音信号および左チャンネル信号受音用の指向性パターン受音信号を示した図
【図７】  音源方向検出部６０の構成例を示す図
【図８】  本発明のマイクロホンアレイ装置によるＸ軸負方向からのインパルス音源に対する減算器１２１による単一指向性パターン受音信号および減算器１２２による両指向性パターン受音信号を示す図
【図９】  本発明のマイクロホンアレイ装置によるＸ軸負方向に対し９０度方向からのインパルス音源に対する単一指向性パターン受音信号および両指向性パターン受音信号を示す図
【図１０】  本発明のマイクロホンアレイ装置によるＸ軸負方向に対し１８０度方向からのインパルス音源に対する単一指向性パターン受音信号および両指向性パターン受音信号を示す図
【図１１】  本発明のマイクロホンアレイ装置によるＸ軸負方向に対し２７０度方向からのインパルス音源に対する単一指向性パターン受音信号および両指向性パターン受音信号を示す図
【図１２】  本発明のマイクロホンアレイ装置による単一指向性と両指向性のパワー比Ｐと閾値Ｔｐの比較、相互相関係数Ｒと閾値ＴＲ１、ＴＲ２の比較による音源方向のパターン分類を示した図
【図１３】  本発明の実施形態２のマイクロホンアレイ装置の装置構成例を示す図
【図１４】  本発明の実施形態３のマイクロホンアレイ装置の基本構成の概略を示す図
【図１５】  本発明の実施形態４のマイクロホンアレイ装置の基本構成の概略を示す図
【図１６】  本発明の実施形態４のカメラ撮影方向に基づいた遅延器の遅延サンプル数とゲイン器のゲイン量の調整を示す図
【図１７】  本発明の実施形態４の指向性受音信号計算部５０ｃの構成例を示す図
【図１８】  本発明の実施形態４の音源方向検出部６０ｃの構成例を示す図
【図１９】  本発明の実施形態５のマイクロホンアレイ装置の基本構成の概略を示す図
【符号の説明】
１０  マイクロホンアレイ部
１１，１２  マイクロホン
２０  コネクタ
２１  マイクアンプ
３０  ２チャンネルアナログデジタルコンバータ
４０  バス
５０  指向性受音信号計算部
６０  音源方向検出部
６１  判定器
７０  雑音抑制部
９０  ＵＳＢハブ
９１  ＵＳＢインタフェース
１００  無指向性マイクロホン
１１０  遅延器
１２１〜１２３  減算器
１２４  加算器
１３０  パワー比計算部
１４０  相互相関係数計算部
１５０  ゲイン器
１６０  可動式カメラ
１７０  向き検出器
１８０  遅延サンプル数調整部
１９０  ゲイン量調整部
２００  単一指向性マイクロホン
３００  両指向性マイクロホン
４００  音声スイッチ
【図１】
0003789685.tif 000003
【図２】
0003789685.tif 000004
【図３】
0003789685.tif 000005
【図４】
0003789685.tif 000006
【図５】
0003789685.tif 000007
【図６】
0003789685.tif 000008
【図７】
0003789685.tif 000009
【図８】
0003789685.tif 000010
【図９】
0003789685.tif 000011
【図１０】
0003789685.tif 000012
【図１１】
0003789685.tif 000013
【図１２】
0003789685.tif 000014
【図１３】
0003789685.tif 000015
【図１４】
0003789685.tif 000016
【図１５】
0003789685.tif 000017
【図１６】
0003789685.tif 000018
【図１７】
0003789685.tif 000019
【図１８】
0003789685.tif 000020
【図１９】
0003789685.tif 000021