(57)【要約】【課題】音響信号処理システムの研究試作に好適な、多チャネルリアルタイム音響信号処理装置を提供する。【解決手段】外部から入力される多チャネルのアナログ音声信号をデジタル信号に変換して出力し、外部から入力されるデジタル信号を多チャネルのアナログ音声信号に変換して出力する機能を備えた入出力モジュール３と、入出力モジュールから出力されるデジタル信号を解析してフィルタ係数を決定するための汎用プロセッサとメモリを備えた学習モジュール５と、学習モジュールで決定されるフィルタ係数に基づいて、入出力モジュールから出力されるデジタル信号をＦＰＧＡによりフィルタリング処理する信号処理モジュール６とを有し、入出力モジュール、学習モジュール、信号処理モジュールが、相互にデータを送受信するバス４を介して結合分離可能に構成されている。【選択図】  図２
2004258533.tif 000002
【特許請求の範囲】
【請求項１】
外部から入力される多チャネルのアナログ音声信号をデジタル信号に変換して出力するとともに、外部から入力されるデジタル信号を多チャネルのアナログ音声信号に変換して出力する機能を備えた入出力モジュールと、
入出力モジュールから出力されるデジタル信号を解析してフィルタ係数を決定するための汎用プロセッサとメモリを備えた学習モジュールと、
学習モジュールで決定されるフィルタ係数に基づいて、入出力モジュールから出力されるデジタル信号をＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｇａｔｅｄ  Ａｒｒａｙ）によりフィルタリング処理する信号処理モジュールとを有し、
入出力モジュール、学習モジュール、信号処理モジュールが、相互にデータを送受信するためのバスを介して結合分離可能に構成されていることを特徴とする多チャネルリアルタイム音響信号処理装置。
【請求項２】
入出力モジュール、学習モジュール、信号処理モジュールのうち、入出力モジュールのみを単独でデータ収集用に使用可能としたことを特徴とする請求項１記載の多チャネルリアルタイム音響信号処理装置。
【請求項３】
入出力モジュール、学習モジュール、信号処理モジュールのうち、入出力モジュールと学習モジュールのみを結合しても使用可能としたことを特徴とする請求項１記載の多チャネルリアルタイム音響信号処理装置。
【請求項４】
入出力モジュール、学習モジュール、信号処理モジュールのすべてを組み合わせて構成したことを特徴とする請求項１記載の多チャネルリアルタイム音響信号処理装置。
【請求項５】
入出力モジュールを、学習モジュールと信号処理モジュールを収容する筐体と独立した筐体に収容したことを特徴とする請求項４記載の多チャネルリアルタイム音響信号処理装置。
【請求項６】
学習モジュールは、多チャネル入力された複数の音源の中から特定の音源からの音声情報を選別するようにフィルタ係数を決定する機能を有することを特徴とする請求項１乃至５の何れかに記載の多チャネルリアルタイム音響信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、環境に応じて信号処理に変化を与える多チャネル適応音響信号処理装置に関する。
【０００２】
【従来の技術】
従来より、環境に設けた多数のマイクロフォンから環境の情報を取得し、これに基づいて環境や状況に適した音響信号処理を行う技術として適応マイクロホンアレイシステムが知られている。
【０００３】
適応マイクロホンアレイシステムは、環境に存在する種々の音の中から特定の音（例えば聞きたい話者の声）のみを分離して出力するもので、このシステムは、テレビや空調機器等、様々な音源が存在している環境の中で、音声認識によって動作する対話型の各種の情報家電や、対話型のロボット等の器機類を誤動作無く制御するため音声認識の前処理として利用されるものである。
【０００４】
このシステムにおいては、複数のマイクロフォンを環境に設置し、それぞれのマイクロホンから収集されたアナログ信号はデジタル信号に変換され、次いで、このデジタル信号は学習回路に送られてここで環境に対する学習が行われる。学習回路では前記デジタル信号のデータに基づいて音源分離を行うためのフィルタの学習が行われる。
【０００５】
前記学習によって得られたフィルタ係数に関するデータは、学習回路から信号処理回路に送られる。信号処理回路ではこのフィルタ係数のデータに基づいて、学習回路から送られてきたデジタルデータを処理して出力する。
【０００６】
【発明が解決しようとする課題】
前述したような、適応マイクロホンアレイシステムを含め、従来の適応システムにおいては、入力信号を解析し、最適な処理パラメタ（上述した例では、フィルタ係数）を決定する学習回路部と、学習結果に基づいて入力信号をリアルタイムに処理する信号処理回路部という２つの部分からなるアーキテクチャをとることが多く、これらの２つの回路部は、単一または複数のデジタルシグナルプロセッサ（以下、ＤＳＰという）を用いて実装する場合がほとんどであった。（例、特許文献１参照）
【０００７】
【特許文献１】
特表２００２−５３６６９２
【０００８】
しかしながら、従来のＤＳＰを用いたシステムでは以下のような問題がある。
第１に、信号処理モジュールでは、リアルタイム処理を実現するため、データ処理の高速化が必要であるが、ほとんどのＤＳＰでは、これをプロセッサ内の複数のＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ  ａｎｄ  Ｌｏｇｉｃａｌ  Ｕｎｉｔ）を用いたパイプライン処理によって実現しており、このためには、アセンブラレベルでのＤＳＰプログラミングに高度な知識が必要であった。
【０００９】
また、パイプライン処理を行っている間は、データ処理の高速化のためには、他の割り込み処理を行うことができないが、データの入出力や他のＤＳＰとの通信においては、割り込み処理を行うのが通常であり、パイプライン処理と割り込み処理が両立しない場合が少なくない。
【００１０】
一方、学習モジュールでは、学習の際に、複素数演算などから固有値分解、特異値分解など高度な演算を必要とする場合があり、このような演算を行う場合には、通常のＤＳＰのように３２ビットの精度では不足する場合が少なくない。
【００１１】
また、学習におけるプログラムは、特に研究・試作段階のシステムのプロトタイプを作成する段階においては、頻繁に書き換えを必要するため、便利な開発環境が必須であるが、前述したような高度な演算をするには、近年のＤＳＰの開発環境は従来より改善はされてきているものの不十分であり、ライブラリなどもまだ皆無に近い状況である。
【００１２】
そこで、本発明は、前述したような従来技術における問題を解決し、音響信号処理システムの研究試作に好適な、多チャネルリアルタイム音響信号処理装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記目的のため、本発明の多チャネルリアルタイム音響信号処理装置は、外部から入力される多チャネルのアナログ音声信号をデジタル信号に変換して出力するとともに、外部から入力されるデジタル信号を多チャネルのアナログ音声信号に変換して出力する機能を備えた入出力モジュールと、入出力モジュールから出力されるデジタル信号を解析してフィルタ係数を決定するための汎用プロセッサとメモリを備えた学習モジュールと、学習モジュールで決定されるフィルタ係数に基づいて、入出力モジュールから出力されるデジタル信号をＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｇａｔｅｄ  Ａｒｒａｙ）によりフィルタリング処理する信号処理モジュールとを有し、入出力モジュール、学習モジュール、信号処理モジュールが、相互にデータを送受信するためのバスを介して結合分離可能に構成されている。
【００１４】
前記多チャネルリアルタイム音響信号処理装置においては、入出力モジュール、学習モジュール、信号処理モジュールのうち、入出力モジュールのみを単独でデータ収集用に使用できるようにすることが望ましい。また、入出力モジュール、学習モジュール、信号処理モジュールのうち、入出力モジュールと学習モジュールのみを結合しても使用できることが望ましい。
【００１５】
また、本発明の多チャネルリアルタイム音響信号処理装置は、入出力モジュール、学習モジュール、信号処理モジュールのすべてを組み合わせて構成することも望ましく、その場合には、入出力モジュールを、学習モジュールと信号処理モジュールを収容する筐体と独立した筐体に収容することがさらに望ましい。
【００１６】
さらに、本発明の多チャネルリアルタイム音響信号処理装置は、学習モジュールは、多チャネル入力された複数の音源の中から特定の音源からの音声情報を選別するように、フィルタ係数を決定する機能を有していることが望ましい。
【００１７】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態を説明する。図１は、本発明の多チャネルリアルタイム音響信号処理装置の１実施形態として、マイクロホンアレイを用いた音源定位・音源分離システムを試験的に構築した例を示すブロック図である。
【００１８】
前記環境の中には、話者の他、ＴＶ等の種々の音源が存在しており、音源定位・音源分離システムは、このような環境の中で他の音から目的とする話者の声を分離して出力するものである。
【００１９】
同図に示す音源定位・音源分離システムを構成している多チャネルリアルタイム音響信号処理装置１は、環境の中の異なる位置に分散配置されている複数のマイクロホン２Ａ・・で構成されるマイクロフォンアレイ２を有している。本実施形態においては、マイクロフォンアレイ２は８本のマイクロフォン２Ａ（４本のみ図示）によって構成されており、８チャンネルのシステムとなっている。
【００２０】
それぞれのマイクロホン２Ａは、互いに異なった距離と方向から環境中の音を捕捉してアナログ音声信号を入出力モジュール３に入力する。なお、図示していないが入出力モジュール３は、マイクロホン２Ａのチャンネル数に対応するように８チャンネルのアナログ信号入力端子を有している。
【００２１】
入出力モジュール３では、入力されたアナログ音声信号がデジタル信号に変換される。前記デジタル信号は入出力モジュール３からバス４へ出力されて、学習モジュール５へ入力される。なお、ここでは、バス４にＰＣＩバスが用いられている。
【００２２】
学習モジュール５では、入力されたデジタル信号を高速フーリエ変換（ＦＦＴ）したものを要素に持つ入力ベクトルと、蓄積されている位置ベクトルデータベースから環境中に存在する各音源位置を推定する。
【００２３】
また、学習モジュール５では、推定した音源の位置に基づいて、分離フィルタの推定を行い。ここで推定されたフィルタ係数のデジタルデータを信号処理モジュール６にバス４を通じて出力する。
【００２４】
信号処理モジュール６は、学習モジュール５から送られてきたデータに基づいてフィルタ係数が変更され、目的の話者の音声データのみをふるい分けて出力する。
【００２５】
出力された音声データは、目的に応じてデジタル信号のまま音声で制御されるロボット、情報家電等の情報機器に入力されるか、あるいは、入出力モジュール３に送られてここでＤ／Ａ変換され、アナログ音声信号として出力される。
【００２６】
なお、入出力モジュール３は、２チャンネルのアナログ信号出力端子を有していて、ここに２チャンネルのアンプスピーカシステムを接続すれば、話者の声の音像を所定位置に定位させて出力することができる。
【００２７】
図２は、図１に示す多チャネルリアルタイム音響信号処理装置１の要部システム構成図であって、本実施形態においては、入出力モジュール３、学習モジュール５、及び、信号処理モジュール６は図示しない筐体内に収容されており、前記筐体内でバス４（ＰＣＩバス）が接続されているバススロットにそれぞれ着脱自在に差し込まれるボードとして構成されている。
【００２８】
入出力モジュール３には、前述したマイクロホンアレイ２から音声信号が入力される８チャネルマイクロフォンアンプ、アンチエリアジングフィルタ、８チャネルのＡ／Ｄコンバータ、２チャネルのＤ／Ａコンバータ、及び、各種制御を行うＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍａｂｌｅ  Ｇａｔｅｄ  Ａｒｒａｙ）回路のチップ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コントローラ等が実装されている。
【００２９】
また、前記８チャネルマイクロフォンアンプは、アンプゲイン５１ｄＢ以上（ゲイン調整可能、Ｈｉ／Ｌｏ２段）のものが使用されている。また、アンチエリアジングフィルタは、８チャネルのもので、カットオフ周波数６．４ＫＨｚ、遮断特性４次チャビシェフ型以上のものが使用されている。
【００３０】
また、ここでは、Ｄ／Ａコンバータは、チャネル数２チャネル、分解能１４ビット、サンプリング周波数１６ｋＨｚのものが使用されている。
【００３１】
また、ＦＰＧＡは、Ａ／Ｄ、Ｄ／Ａデータ制御用のもので、Ａ／Ｄコンバータから出力されるデータ及びＤ／Ａコンバータに出力するデータを、信号処理モジュール（ＰＣＩバス経由）あるいは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｒｅｖ２．０）を経由して外部のＰＣと送受信する機能を有している。
【００３２】
学習モジュール３は、音の到来方向、適応フィルタなどの学習を行うモジュールであって、Ｍｏｔｏｒｏｌａ社メザニンタイプＣＰＵボードＰｒＰＭＣ８００を使用しコンパクトに構成されている。
【００３３】
また、この学習モジュール３には、放熱の比較的少ないモトローラ社製ＰＯＷＥＲＰＣＧ４（，動作クロック４５０ＭＨｚ）、Ｌ２キャッシュ（１ＭＢ）、フラッシュＲＯＭ（８ＭＢ）、ＳＤＲＡＭ（最大２５６ＭＢ）、ＥＴＨＥＲＮＥＴ（登録商標）（１０ＢａｓｅＴ／１００ＢａｓｅＴＸ）が実装されている。
【００３４】
システムを動作制御するＯＳには、Ｌｉｎｕｘが用いられており、学習モジュール３上に搭載されたフラッシュＲＯＭ内に事前に焼き込んでおき、システム起動時にロードされるようになっている。
【００３５】
また、ここで用いられているＰＯＷＥＲＰＣＧ４は１２８ｂｉｔの演算器を搭載しており、通常の３２ｂｉｔアーキテクチャに較べ、固有値分解などの高度な演算において精度や実行スピード等の面で有利である。
【００３６】
また、ここでは、ＯＳにＬｉｎｕｘを用いているので、通常のワークステーションやパーソナルコンピュータでＣ言語などにより開発したシミュレーションシステムを容易に実装することが可能である。
【００３７】
さらに、Ｃ言語などで記述された科学技術計算ライブラリなども、ほとんど手を加えずに利用可能である。さらにまた、開発環境も通常のＬｉｎｕｘ環境であるため、ＤＳＰにおけるクロスコンパイル環境にくらべて開発が容易であり、実験・試作段階でのプロトタイプの実現が迅速且つ容易に行える。
【００３８】
なお、ユーザーアプリケーションについてもこのフラッシュＲＯＭ内に組み込むことが可能である。また、ＥＴＨＥＲＮＥＴ（登録商標）を介してホストＰＣ等外部システムとの通信が可能である。
【００３９】
信号処理モジュール６は、ＦＰＧＡ（Ｘｉｌｉｎｘ社製Ｖｉｒｔｅｘ−ＩＩ  ＸＣ２Ｖ３０００）を２個有し、８ｃｈＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ  ）フィルタ（タップ数１０２４タップ／チャネル、サンプリング周波数１６ｋＨｚ、精度１６ビット）をリアルタイムで実現可能な演算性能を有している。
【００４０】
また、データ制御機能としては、ＰＣＩターゲット機能（ＰＣＩ  Ｌｏｃａｌ  Ｂｕｓ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｒｅｖ．２．１準拠）、ＰＣＩバスアービター機能（ＰＣＩ  Ｌｏｃａｌ  Ｂｕｓ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｒｅｖ２．１  準拠）を有している。
【００４１】
また、信号処理モジュール６には、バス幅６４ｂｉｔ、１バンク当たり１２８ＭＢのメモリが４バンク実装されている。その他、赤外線変調方式のリモートコントロール回路、ＵＳＢコントローラ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｒｅｖ２．０相当）、ＣＦカードスロット（ＢｌｕｅＴｏｏｔｈカードを挿入することを推定）、動作確認用発光ダイオード（マトリクス数１６×１６、発光タイプ２色）が搭載されている。
【００４２】
動作確認用発光ダイオードは、音源到来方向表示等、データ解析結果の表示が可能となっている。また、遠赤外線リモートコントロール機能により、学習モードの切替等の指示を外部から行えるようにしている。
【００４３】
信号処理モジュール６では、ＦＰＧＡを用いてフィルタ処理など、簡単なアーキテクチャの信号処理を高速に行うことを想定している。例えばフィルタ処理では、信号処理のアーキテクチャは変わらず、学習によって決定されるフィルタ係数だけが更新される。このため、煩雑なプログラム変更を必要としない。
【００４４】
ＦＰＧＡは、実際の電子回路と同等なものをソフトウェアを用いて設計可能なデバイスであり、電子回路を基礎から起こす場合と比較して、大幅に設計のコストを低減することができ、その設計時にリアルタイム性を考慮すれば、実際のオペレーション時にこのリアルタイム性が保証されている。
【００４５】
これに対し、ＤＳＰを用いてソフトウエア的に同等の回路を実現した場合には、ＤＳＰに対する割り込み処理などがある場合、リアルタイム性を完全に保証することはできない。
【００４６】
また、ＤＳＰを用いて学習モジュールと信号処理モジュールを実現した場合、例えば学習の結果得られたフィルタ係数を信号処理モジュールに転送するためにはＤＳＰ間通信を用いるのが一般的であるが、この場合、通信によるオーバーヘッドが生じ、最悪の場合、信号処理モジュールのリアルタイム性が損なわれる場合がある。
【００４７】
本発明のシステムにおいては、マルチアクセス可能な共有メモリにより、モジュール間通信を実現しており、これにより、非同期通信が可能となるので、通信により、一方のモジュールが待たされるといったオーバーヘッドは解消される。
【００４８】
前述したように、入出力モジュール３、学習モジュール５、及び、信号処理モジュール６は、それぞれが独立したモジュールとして構成されているため、次のような組み合わせで用いることができる。
【００４９】
（１）入出力モジュール単体のみ使用する。
これは、入出力モジュール３をノートパソコン等のコンピュータに接続してデータ収集のみに用いる場合である。
【００５０】
通常、マイクロフォンを用いて音声データの収集を行う場合には、マイクロフォンアンプ、アンチエリアジングフィルタ、Ａ／Ｄ変換器等を組み合わせてシステムを組む必要があるが、他のモジュールから切り離した入出力モジュール３にマイクロフォンを接続し、また、ＵＳＢでノートパソコン等に接続することで、現場におけるデータ収集を簡単に行うことができる。
【００５１】
（２）入出力モジュールと学習モジュールとを組み合わせて用いる。
この組み合わせは、高速のデータ処理を必要とせず、入力データの解析のみを必要とする場合にとられる組み合わせであって、例えば、ロボット等で音のする方向だけを知りたい場合、また、環境の音のスペクトルを分析する場合などに有効となる。
【００５２】
（３）入出力モジュール、学習モジュール、信号処理モジュールを全て連結して用いる。
前述した実施形態のように、環境の学習と信号処理の両方が必要な場合にこの組み合わせが用いられる。各モジュール全ての機能を利用することができる。
【００５３】
（４）入出力モジュール、学習モジュール、信号処理モジュールを全て連結して用いるが、アナログ信号処理を含む入出力モジュールをデジタル信号処理のみを行う学習モジュールと信号処理モジュールと別の筐体に収容し、入出力モジュールが収容された筐体と、学習モジュール及び信号処理モジュールが入った筐体の間をＵＳＢで接続する。
【００５４】
この場合には、ノイズの影響を受けやすいアナログ信号処理を含む入出力モジュールを、デジタル信号を扱う学習モジュールと信号処理モジュールから分離しているため、高いＳ／Ｎ比が得られ、アナログ信号を高精度で収集できる。
【００５５】
【発明の効果】
本発明によれば、入出力モジュール、学習モジュール、信号処理モジュールのそれぞれが、相互にデータを送受信するためのバスを介して結合分離可能に構成されているので、システムを改良する場合、モジュール毎に改良を加えることができるため、装置全体を設計し直す必要がない。また、必要なモジュールだけを組み合わせて目的に応じて様々に、自由度の高い使い方が可能となる。
【００５６】
また、信号処理モジュールは、ＦＰＧＡを用いてフィルタ処理など、簡単なアーキテクチャの信号処理を高速に行うことができるので、優れたリアルタイム性が得られる。
【００５７】
さらに、信号処理モジュールは、アーキテクチャはそのままで、学習モジュールによって決定されるフィルタ係数だけが更新されるようにしているため、複雑なプログラミングを必要とするＤＳＰを使用した同等のシステムと比較して、システムの環境への対応などが極めて容易となる。
【００５８】
その結果、本発明によれば、プロトタイプとしての研究試作段階における音響信号処理システムを低コストで、且つ、短期間に製作することが可能となる。
【図面の簡単な説明】
【図１】本発明の多チャネルリアルタイム音響信号処理装置の１実施形態としての音源定位・音源分離システムの構成図である。
【図２】多チャネルリアルタイム音響信号処理装置１の要部システム構成図である。
【符号の説明】
１    多チャネルリアルタイム音響信号処理装置
２    マイクロフォンアレイ
２Ａ  マイクロフォン
３    入出力モジュール
４    バス
５    学習モジュール
６    信号処理モジュール
【図１】
2004258533.tif 000003
【図２】
2004258533.tif 000004