(57)【特許請求の範囲】
【請求項１】
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手段を備え、
前記無音判定手段が無音と判定したときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手段が無音ではないと判定したときに各マイクロフォンの動作異常の判定を行う、
ことを特徴とする音声処理装置。
【請求項２】
前記無音判定手段は、前記音声取得手段が取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、すべての音声信号の信号レベルが前記無音判定値未満となったときは、すべての音声信号の信号レベルが前記無音判定値未満となっている時間を計測し、当該計測時間が予め設定された規定時間を越えたときに無音と判定する、
ことを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記音声取得手段は、取得した各音声信号の特徴量として、各音声信号の信号レベルを比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ことを特徴とする請求項１又は２に記載の音声処理装置。
【請求項４】
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ことを特徴とする音声処理装置。
【請求項５】
音声の特徴量が予め設定された確認音を音声処理の開始時に出力する確認音出力手段を備え、
前記マイクロフォンアレイの前記複数のマイクロフォンは、前記確認音出力手段が出力した前記確認音を入力し、
前記音声取得手段は、前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した確認音に基づいて、それぞれの音声信号を取得し、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を前記音声処理の開始時に判定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の音声処理装置。
【請求項６】
前記音声取得手段が前記マイクロフォンアレイの各マイクロフォン動作異常と判定したときに、警告音を出力する警告音出力手段を備えた、
ことを特徴とする請求項１又は２に記載の音声処理装置。
【請求項７】
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップは、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定ステップを備え、
前記無音判定ステップにより無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定ステップにより無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
ことを特徴とする音声処理装置の音声処理方法。
【請求項８】
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手順を備え、
前記無音判定手順により無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手順により無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
ためのプログラム。
【請求項９】
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップでは、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ことを特徴とする音声処理装置の音声処理方法。
【請求項１０】
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順では、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理装置の音声処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
音声処理装置として、複数のマイクロフォンによって構成されたマイクロフォンアレイを用いて不要な音をなるべく受信しないように信号処理を行うものがあり、このような音声処理装置は、テレビ会議システム等に広く用いられている（例えば、非特許文献１参照）。
【０００３】
このような音声処理装置では、いずれかのマイクロフォンに故障等が発生した場合、正常な音声処理を行えなくなる。
【０００４】
このため、入力信号が所定レベル以上のパワーを有していない場合に、マイクロフォンの故障と判定することによって各マイクロフォンの異常動作判定を行い、正常と診断されたマイクロフォンのみを用いて信号処理を行う音声処理装置がある（例えば、特許文献１参照）。
【特許文献１】特開２００２−１５９０８６号公報
【非特許文献１】大賀寿郎、山崎芳男、金田豊共著、”音響システムとディジタル処理、”社団法人  電子情報通信学会
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の音声処理装置では、入力後の信号が所定レベル以上のパワーを有していない場合に異常動作と判定されるため、外部から、常に所定レベル以上のパワーを有する信号を入力しなければ、異常動作判定を行うことができない。
【０００６】
このため、従来の音声処理装置では、任意の音声信号が入力される音声処理中に故障診断を行えず、音声処理を行っていない期間に、異常動作判定用の音声信号を外部から入力して異常動作判定を行う必要がある。
【０００７】
本発明は、このような従来の問題点に鑑みてなされたもので、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作の判定を行うことが可能な音声処理装置を提供することを目的とする。
【０００８】
また、本発明は、音声処理中であっても、正常な音声信号処理を継続させることが可能な音声処理装置、音声処理装置の音声処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この目的を達成するため、本発明の第１の観点に係る音声処理装置は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手段を備え、
前記無音判定手段が無音と判定したときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手段が無音ではないと判定したときに各マイクロフォンの動作異常の判定を行う、ことを特徴とする。
【００１１】
前記無音判定手段は、前記音声取得手段が取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、すべての音声信号の信号レベルが前記無音判定値未満となったときは、すべての音声信号の信号レベルが前記無音判定値未満となっている時間を計測し、当該計測時間が予め設定された規定時間を越えたときに無音と判定するようにしてもよい。
【００１２】
前記音声取得手段は、取得した各音声信号の特徴量として、各音声信号の信号レベルを比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するようにしてもよい。
【００１３】
本発明の第２の観点に係る音声処理装置は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイと、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する音声取得手段と、
前記音声取得手段の判定結果に基づいて、音声処理に使用するマイクロフォンを決定し、決定したマイクロフォンを使用して音声処理を行う音声処理手段と、を備え、
前記音声取得手段は、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、ことを特徴とする。
【００１４】
音声の特徴量が予め設定された確認音を音声処理の開始時に出力する確認音出力手段を備え、
前記マイクロフォンアレイの前記複数のマイクロフォンは、前記確認音出力手段が出力した前記確認音を入力し、
前記音声取得手段は、前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した確認音に基づいて、それぞれの音声信号を取得し、取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を前記音声処理の開始時に判定するようにしてもよい。
【００１５】
前記音声取得手段が前記マイクロフォンアレイの各マイクロフォン動作異常と判定したときに、警告音を出力する警告音出力手段を備えたものであってもよい。
【００１６】
本発明の第３の観点に係る音声処理装置の音声処理方法は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップは、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定ステップを備え、
前記無音判定ステップにより無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定ステップにより無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、ことを特徴とする。
本発明の第４の観点に係る音声処理装置の音声処理方法は、
音声を入力する複数のマイクロフォンから構成されるマイクロフォンアレイを備えた音声処理装置の音声処理方法であって、
前記マイクロフォンアレイの前記複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得するステップと、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定するステップと、
前記マイクロフォンの動作異常の判定結果に基づいて、音声処理に使用するマイクロフォンを決定するステップと、
決定したマイクロフォンを使用して音声処理を行うステップと、を備え、
前記マイクロフォンの動作異常を判定するステップでは、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ことを特徴とする。
【００１７】
本発明の第５の観点に係るプログラムは、
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順は、取得した各音声信号の信号レベルと予め設定された無音判定値とを比較して、比較結果に基づいて無音と判定する無音判定手順を備え、
前記無音判定手順により無音と判定されたときは、前記マイクロフォンアレイの各マイクロフォンの動作異常の判定を行わず、前記無音判定手順により無音ではないと判定されたときに各マイクロフォンの動作異常の判定を行う、
ためのものである。
本発明の第６の観点に係るプログラムは、
コンピュータに、
マイクロフォンアレイを構成する複数のマイクロフォンがそれぞれ入力した音声に基づいて、それぞれの音声信号を取得する手順、
取得した各音声信号の特徴量を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する手順、
前記マイクロフォンの動作異常を判定した判定結果に基づいて、音声処理に使用するマイクロフォンを決定する手順、
決定したマイクロフォンを使用して音声処理を行う手順、を実行させ、
前記マイクロフォンの動作異常を判定する手順では、取得した各音声信号の振幅特性の相関係数を前記特徴量として取得し、取得した相関係数を比較し、比較結果に基づいて、前記マイクロフォンアレイの各マイクロフォンの動作異常を判定する、
ためのものである。
【発明の効果】
【００１８】
本発明によれば、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作の判定を行うことができる。また、音声処理中であっても、正常な音声信号処理を継続させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態に係る音声処理装置を図面を参照して説明する。
本実施形態に係る音声処理装置の構成を図１に示す。
本実施形態に係る音声処理装置１は、情報格納部１１と、音声取得部１２と、音声出力部１３と、操作部１４と、表示部１５と、通信部１６と、制御部１７と、を備える。
【００２０】
情報格納部１１は、プログラム、ユーザ情報、通信部１６が受信した情報、音声データ、マイクロフォンバラつき補正値１１１、規格値等を格納するものである。
【００２１】
マイクロフォンバラつき補正値１１１は、複数のマイクロフォンの特性を補正するための補正値である。
【００２２】
マイクロフォンバラつき補正値１１１は、予め測定したマイクロフォン特性データに基づいて、製品出荷時などにおいて情報格納部１１に書き込まれる。
【００２３】
規格値は、無音判定、マイクロフォンアレイ異常動作判定、動作異常のマイクロフォンの特定に用いる各種閾値である。
【００２４】
音声取得部１２は、複数の音声信号を取得するものであり、マイクロフォンアレイ１２１と、Ａ／Ｄ変換器と、マイクロフォンバラつき補正部１２３と、マイクロフォンアレイ異常動作判定部１２４と、を備える。
【００２５】
また、音声取得部１２は、複数の音声信号を取得するとともに、取得した各音声信号の特徴量を比較し、比較した結果に基づいて、マイクロフォンアレイ異常動作の判定を行う。
【００２６】
音声処理装置１は、このような音声取得部１２を備えることにより、音声処理中であっても、マイクロフォンアレイを構成する複数のマイクロフォンの異常動作判定を行えるようにしている。
【００２７】
マイクロフォンアレイ１２１は、複数のマイクロフォンとして、３つのマイクロフォン１２１１，１２１２，１２１３によって構成されたものである。マイクロフォン１２１１，１２１２，１２１３は、それぞれ、音声を入力してアナログ音声信号Ｓma１，Ｓma２，Ｓma３を出力するものである。
【００２８】
Ａ／Ｄ変換器は、マイクロフォン１２１１，１２１２，１２１３がそれぞれ出力したアナログ音声信号Ｓma１，Ｓma２，Ｓma３に対してアナログ−デジタル変換を行い、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３を出力するものである。
【００２９】
マイクロフォンバラつき補正部１２３は、情報格納部１１に格納されているマイクロフォンバラつき補正値１１１を用いて、マイクロフォン１２１１，１２１２，１２１３の特性バラつきを補正するものである。
【００３０】
マイクロフォンバラつき補正部１２３は、特性バラつきとして、マイクロフォン１２１１，１２１２，１２１３の振幅特性、位相特性等を補正する。
【００３１】
マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１，１２１２，１２１３の故障、マイクロフォンふさぎ等によるマイクロフォンアレイ異常動作の判定を行うものである。
【００３２】
音声処理装置１は、それぞれ、マイクロフォン１２１１，１２１２，１２１３に音声を入力するための入力孔を備えており、マイクロフォンふさぎとは、この入力孔をふさいでしまうことをいう。
【００３３】
マイクロフォン１２１１，１２１２，１２１３のいずれかに故障やマイクロフォンふさぎがあると、音声処理装置１は、すべてのマイクロフォン１２１１，１２１２，１２１３を用いて正常な音声処理を行うことができなくなる。
【００３４】
マイクロフォンアレイ異常動作判定部１２４は、各デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量を比較し、比較結果に基づいて、このような動作状態をマイクロフォンアレイ異常動作と判定するためのものである。
【００３５】
このため、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１と、音量比較部１２４２と、相関係数計算部１２４３と、を備える。
【００３６】
無音判定部１２４１は、無音判定を行うものである。無音とは、すべてのマイクロフォン１２１１，１２１２，１２１３に音声が入力されない状態をいう。
【００３７】
無音判定を行うのは、無音区間が存在するような音声信号を異常動作判定用の外部入力信号として選択した場合でも、この無音区間において、すべてのマイクロフォン１２１１〜１２１３が異常動作と誤判定しないようにするためである。
【００３８】
無音判定部１２４１は、デジタル音声信号Smd１，Smd２，Smd３のそれぞれの信号レベルＬmd_１，Ｌmd_2，Ｌmd_3と、無音を判定するために予め設定された規定レベルＬmd_thと、を比較する。
【００３９】
情報格納部１１は、この規定レベルＬmd_thを予め記憶し、無音判定部１２４１は、情報格納部１１からこの規定レベルＬmd_thを読み出して信号レベルＬmd_1，Ｌmd_2，Ｌmd_3と比較する。
【００４０】
無音判定部１２４１は、時間を計測するタイマを有し（図示せず）、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3が規定レベルＬmd_th未満の場合、規定レベルＬmd_th未満になったときからの時間を計測する。この計測時間をＴとする。
【００４１】
情報格納部１１は、この計測時間Ｔと比較するための規定時間Ｔthを予め記憶する。無音判定部１２４１は、情報格納部１１からこの規定時間Ｔthを読み出して計測時間Ｔと規定時間Ｔthとを比較する。
【００４２】
無音判定部１２４１は、計測時間Ｔが規定時間Ｔthを越えたとき、無音と判定し、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、マイクロフォンアレイ異常動作の判定を行わない。
【００４３】
音量比較部１２４２は、マイクロフォンアレイ異常動作を判定するため、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量として、それぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較するものである。
【００４４】
例えば、信号レベルＬmd_1，Ｌmd_2間の信号レベル差ΔＬ_12が、信号レベルＬmd_2，Ｌmd_3間の信号レベル差ΔＬ_23、信号レベルＬmd_3，Ｌmd_1間の信号レベル差ΔＬ_31と比較して非常に大きい場合、マイクロフォン１２１１が故障であるか、あるいは、マイクロフォン１２１１に対するマイクロフォンふさぎがあった可能性がある。
【００４５】
このため、音量比較部１２４２は、それぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較して、信号レベル差ΔＬ_12，ΔＬ_23、ΔＬ_31を取得する。
【００４６】
相関係数計算部１２４３は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３の特徴量として、デジタル音声信号Ｓmd１，Ｓmd２間の相互相関係数（以後、単に「相関係数」と記す。）ｒ12、デジタル音声信号Ｓmd２，Ｓmd３間の相関係数ｒ23，デジタル音声信号Ｓmd3，Ｓmd1間の相関係数ｒ31を計算するものである。
【００４７】
例えば、信号レベルＬmd_1，Ｌmd_2間の相関係数ｒ12と信号レベルＬmd_3，Ｌmd_1間の相関係数ｒ31とが、信号レベルＬmd_2，Ｌmd_3間の相関係数ｒ23と比較して非常に小さい場合、マイクロフォン１２１１が故障であるか、あるいは、マイクロフォン１２１１に対するマイクロフォンふさぎがあった可能性がある。
【００４８】
相関係数計算部１２４３は、このようなマイクロフォンアレイ異常動作を判定するため、各相関係数ｒ11，ｒ23，ｒ31を計算する。
【００４９】
相関係数計算部１２４３は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を予め設定された規定期間だけ蓄積する。
【００５０】
相関係数計算部１２４３は、蓄積した信号レベルＬmd_1，Ｌmd_2，Ｌmd_3に対して、フーリエ変換を行い、得られたそれぞれの振幅特性に対し、相関係数ｒ11，ｒ23，ｒ31を計算する。
【００５１】
音量比較部１２４２、相関係数計算部１２４３がこのような計算を行うと、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果と相関係数計算部１２４３の計算結果とに基づいてマイクロフォンアレイ異常動作の判定を行う。
【００５２】
音量比較部１２４２の計算結果を利用する場合、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２が取得した信号レベル差ΔL_12，ΔL_23，ΔL_31を、それぞれ、予め設定された規格値ΔＬ_thと比較する。
【００５３】
規格値ΔＬ_thは、マイクロフォンアレイ異常動作判定用に予め設定された閾値であり、情報格納部１１は、この規格値ΔＬ_thを記憶する。マイクロフォンアレイ異常動作判定部１２４は、情報格納部１１からこの規格値ΔＬ_thを読み出して、それぞれ、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31と比較する。
【００５４】
マイクロフォンアレイ異常動作判定部１２４は、比較した結果、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31がすべて規格値ΔＬ_th未満の場合は、マイクロフォンアレイ１２１が正常に動作していると判定する。
【００５５】
一方、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31のうち、規格値ΔＬ_th以上となったものがあれば、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作と判定する。
【００５６】
マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較して動作異常のマイクロフォンを判別する。
【００５７】
マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３に入力される音声が変動するため、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3のうち、最も高い信号レベルを基準にして動作異常のマイクロフォンを判別する。
【００５８】
即ち、最も高い信号レベルをＬmd_x、他の信号レベルをＬmd_y、信号レベルＬmd_xとＬmd_yとの信号レベル差をΔＬ_xyとすると、マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_xyと規定値ΔＬ_thとを比較する。
【００５９】
信号レベル差ΔＬ_xyが規定値ΔＬ_th以上の場合、マイクロフォンアレイ異常動作判定部１２４は、信号レベルＬmd_yに対応するマイクロフォンが動作異常と判別する。
【００６０】
相関係数計算部１２４３の計算結果を利用する場合、マイクロフォンアレイ異常動作判定部１２４は、相関係数計算部１２４３が計算した相関係数ｒ11，ｒ23，ｒ31を、それぞれ、予め設定された規格値ｒ_thと比較する。
【００６１】
規格値ｒ_thは、マイクロフォンアレイ異常動作判定用に予め設定された閾値であり、情報格納部１１は、この規格値ｒ_thを記憶する。マイクロフォンアレイ異常動作判定部１２４は、情報格納部１１からこの規格値ｒ_thを読み出して、それぞれ、相関係数ｒ11，ｒ23，ｒ31と比較する。
【００６２】
マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ11，ｒ23，ｒ31のすべてが規格値ｒ_th以上であれば、マイクロフォン１２１１〜１２１３は正常に動作していると判定する。
【００６３】
一方、相関係数ｒ11が規格値ｒ_th未満であれば、マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ11が低いと判定する。同様に、それぞれ、相関係数ｒ23，ｒ31が規格値ｒ_th未満であれば、マイクロフォンアレイ異常動作判定部１２４は、相関係数ｒ23，ｒ31が低いと判定する。
【００６４】
相関係数の場合、例えば、マイクロフォン１２１２，１２１３が正常であってマイクロフォン１２１１が故障、又はマイクロフォンふさぎがあった場合、相関係数ｒ12，ｒ31は低くなる。
【００６５】
この場合、相関係数ｒ12，ｒ31がマイクロフォン１２１１に関係する相関係数なので、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作と判定し、マイクロフォン１２１１が動作異常のマイクロフォンと判別する。
【００６６】
尚、本実施形態では、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果の双方を利用して、マイクロフォンアレイ異常動作の判定を行うものとする。
【００６７】
マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作判定処理を行うと、この判定結果を制御部１７に通知する。マイクロフォンアレイ異常動作と判定した場合、このマイクロフォンアレイ異常動作の判定結果とともに動作異常となったマイクロフォンを制御部１７に通知する。
【００６８】
音声出力部１３は、音声処理装置１の状態を音声処理装置１の使用者に通知するための音声を出力するものである。音声出力部１３は、音声処理の開始時に確認音を出力する。
【００６９】
また、音声出力部１３は、マイクロフォンアレイ異常動作の判定時に、マイクロフォンアレイ異常動作要因が音声処理装置１の使用者にあることを通知するため、警告音を出力する。
【００７０】
操作部１４は、音声処理装置１の使用者の入力を受け付けるものである。操作部１４は、使用者が操作する複数の操作キー（図示せず）を備え、使用者が複数の操作キーを操作することによって入力された音声処理の開始命令、終了命令等を受け付ける。操作部１４は、この使用者の入力を受け付けると、この入力情報を制御部１７に供給する。
【００７１】
表示部１５は、情報を表示するものである。表示部１５は、通信部１６が受信した情報、情報格納部１１に格納された情報、音声処理装置１の使用者が操作部１４に入力した情報を表示する。
【００７２】
通信部１６は、ネットワークを介して、他の装置と通信を行うものである。通信部１６は、制御部１７から音声データが供給されると、供給された音声データを送信する。
【００７３】
制御部１７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて音声処理装置１の各部を制御するものである。
【００７４】
制御部１７は、操作部１４から、音声処理の開始の入力情報が供給されて音声処理を開始する。また、制御部１７は、操作部１４から終了命令の入力情報が供給されて音声処理を終了させる。
【００７５】
また、制御部１７は、音声処理部１７１を備える。制御部１７は、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４の判定結果に基づいて、音声処理に使用するマイクロフォンを決定（設定）し、決定したマイクロフォンを使用して音声処理を行うように音声処理部１７１を制御する。
【００７６】
この音声処理部１７１は、音声取得部１２が取得したデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３に対し、音声加工音声処理を行うものであり、エコーキャンセラ処理部１７１１と、雑音除去処理部１７１２と、音源定位処理部１７１３と、音源分離処理部１７１４と、音声認識処理部１７１５と、を備える。
【００７７】
エコーキャンセラ処理部１７１１は、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のいずれかの信号をエコーキャンセラの参照信号として参照して、エコーキャンセラ処理を行うものである。
【００７８】
エコーキャンセラ処理部１７１１は、このようなエコーキャンセラ処理を行うことにより、音声取得部１２から入力されるデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３から音声出力部１３の出力音声成分を抑圧する。
【００７９】
雑音除去処理部１７１２は、定在雑音除去や雑音と推定される特定周波数のフィルタリング処理を行うものである。
【００８０】
音源定位処理部１７１３は、音源定位処理を行うものである。
【００８１】
音源分離処理部１７１４は、音源分離処理を行うものである。
【００８２】
音声認識処理部１７１５は、音声認識を行うものである。
【００８３】
制御部１７は、操作部１４から、通信を行う旨の入力情報が供給されたときは、音声処理部１７１が音声加工処理を行ったデジタル音声信号を通信部１６に供給し、保存する旨の入力情報が供給されたときは、情報格納部１１に、このデジタル音声信号を記憶する。
【００８４】
次に本実施形態に係る音声処理装置１の動作を説明する。
制御部１７は、操作部１４から、音声処理の開始命令の入力情報が供給されると、情報格納部１１から、音声処理のプログラムデータを読み出し、図２及び図３に示すフローチャートに従い、音声処理を実行する。
【００８５】
制御部１７は、音声出力部１３に、処理開始を音声処理装置１の使用者に通知するための確認音を出力させる（ステップＳ１０１）。
【００８６】
制御部１７は、音声取得部１２に音声取得処理を実行するように指示する（ステップＳ１０２）。音声取得部１２は、図４に示すフローチャートに従って、この音声取得処理を実行する。
【００８７】
まず、音声取得部１２のマイクロフォン１２１１〜１２１３は、アナログ音声信号Sma１，Sma２，Sma３を取得する（ステップＳ１２１）。
【００８８】
Ａ／Ｄ変換器１２２は、マイクロフォン１２１１〜１２１３がそれぞれ取得したアナログ音声信号Sma１，Sma２，Sma３を、デジタル音声信号Smd１，Smd２，Smd３に変換する（ステップＳ１２２）。
【００８９】
マイクロフォンバラつき補正部１２３は、情報格納部１１から、マイクロフォンバラつき補正値１１１を取得し、取得したマイクロフォンバラつき補正値１１１に基づいてマイクロフォンバラつきの補正を行う（ステップＳ１２３）。そして、音声取得部１２は、この音声取得処理を終了させる。
【００９０】
音声取得部１２が音声取得処理を実行すると、制御部１７は、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４にマイクロフォンアレイ異常動作判定処理を実行するように指示する（ステップＳ１０３）。
【００９１】
マイクロフォンアレイ異常動作判定部１２４は、図５に示すフローチャートに従い、マイクロフォンアレイ異常動作判定処理を実行する。
【００９２】
マイクロフォンアレイ異常動作判定部１２４の無音判定部１２４１は、規定レベルＬmd_thを情報格納部１１から読み出して、デジタル音声信号Smd１，Smd２，Smd３と比較し、無音判定を行う（ステップＳ２０１〜Ｓ２０３）。
【００９３】
即ち、無音判定部１２４１は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3と、規定レベルＬmd_thと、を比較し、デジタル音声信号Smd１，Smd２，Smd３の信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であるか否かを判定する（ステップＳ２０１）。
【００９４】
デジタル音声信号Smd１，Smd２，Smd３の信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であると判定した場合（ステップＳ２０１；Ｙｅｓ）、無音判定部１２４１は、このときからの時間を計測する（ステップＳ２０２）。
【００９５】
無音判定部１２４１は、計測時間Ｔが予め設定された規定時間Ｔthを越えたか否かを判定する（ステップＳ２０３）。
【００９６】
計測時間Ｔが予め設定された規定時間Ｔth以下であると判定した場合（ステップＳ２０３；Ｎｏ）、無音判定部１２４１は、再度、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であるか否かを判定する（ステップＳ２０１）。
【００９７】
信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満であり、計測時間Ｔが規定時間Ｔthを越えたと無音判定部１２４１が判定した場合（ステップＳ２０３；Ｙｅｓ）、マイクロフォンアレイ異常動作判定部１２４は、このマイクロフォンアレイ異常動作判定処理を終了させる。
【００９８】
一方、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3のうち、少なくとも１つが規定レベルＬmd_th以上となった場合、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。
【００９９】
マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２に、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較させる（ステップＳ２０５）。
【０１００】
音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較してデジタル音声信号Ｓmd１，Ｓmd２間の信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31を取得する。
【０１０１】
マイクロフォンアレイ異常動作判定部１２４は、相関係数計算部１２４３にデジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３間の相関係数ｒ12、ｒ23，ｒ3１を計算させる（ステップＳ２０５）。
【０１０２】
マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２が取得した信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31と、相関係数計算部１２４３が計算した相関係数ｒ12、ｒ23，ｒ3１と、に基づいてマイクロフォンアレイ異常動作か否かを判定する（ステップＳ２０６）。
【０１０３】
マイクロフォン１２１１〜１２１３が正常に動作していると判定した場合（ステップＳ２０６；Ｎｏ）、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に、マイクロフォンアレイ異常動作なしの通知を行い（ステップＳ２０７）、このマイクロフォンアレイ異常動作判定処理を終了させる。
【０１０４】
一方、マイクロフォンアレイ異常動作と判定した場合（ステップＳ２０６；Ｙｅｓ）、マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31、又は、相関係数ｒ12、ｒ23，ｒ3１を比較して、異常動作のマイクロフォンを判別する（ステップＳ２０８）。
【０１０５】
マイクロフォンアレイ異常動作判定部１２４は、マイクロフォンアレイ異常動作の判定結果と動作異常のマイクロフォンを制御部１７に通知し（ステップＳ２０９）、このマイクロフォンアレイ異常動作判定処理を終了させる。
【０１０６】
制御部１７は、マイクロフォンアレイ異常動作判定部１２４がこのようにマイクロフォンアレイ異常動作判定処理を実行すると、マイクロフォンアレイ異常動作判定部１２４から、マイクロフォンアレイ異常動作等の通知があったか否かを判定する（ステップＳ１０４）。
【０１０７】
マイクロフォンアレイ異常動作等の通知がなかったと判定した場合（ステップＳ１０４；Ｎｏ）、制御部１７は、すべてのマイクロフォン１２１１〜１２１３を音声処理に使用するように設定する（ステップＳ１０５）。
【０１０８】
一方、マイクロフォンアレイ異常動作等の通知があったと判定した場合（ステップＳ１０４；Ｙｅｓ）、制御部１７は、異常動作をしているマイクロフォンのデジタル音声信号を音声処理に使用しないように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行う（ステップＳ１０６）。
【０１０９】
制御部１７は、マイクロフォンアレイ異常動作の表示を行うように表示部１５を制御する（ステップＳ１０７）。
【０１１０】
制御部１７は、マイクロフォンアレイ異常動作要因が音声処理装置１の使用者にあることを、この使用者に通知するべく、警告音を出力するように音声出力部１３を制御する（ステップＳ１０８）。
【０１１１】
このようにマイクロフォン設定（ステップＳ１０５）、異常動作判定時の処理（ステップＳ１０６〜Ｓ１０８）を行うと、制御部１７は、音声処理部１７１に、音声加工処理を行うように指示する（ステップＳ１０９）。
【０１１２】
音声処理部１７１は、図６に示すフローチャートに従って、この音声加工処理を実行する。
音声処理部１７１のエコーキャンセラ処理部１７１１はエコーキャンセラ処理を行う（ステップＳ１３１）。
【０１１３】
雑音除去処理部１７１２は雑音除去処理を行う（ステップＳ１３２）。
音源定位処理部１７１３は音源定位処理を行う（ステップＳ１３３）。
音源分離処理部１７１４は音源分離処理を行う（ステップＳ１３４）。
音声認識処理部１７１５は音声認識処理を行う（ステップＳ１３５）。音声処理部１７１は、このような音声加工処理を行うと、この音声加工処理を終了させる。
【０１１４】
音声処理部１７１がこのような音声加工処理を実行すると、制御部１７は、操作部１４から供給された入力情報に基づいて、処理後のデジタル音声信号を通信に用いるか否かを判定する（Ｓ１１０）。
【０１１５】
処理後のデジタル音声信号を通信に用いると判定した場合（ステップＳ１１０；Ｙｅｓ）、制御部１７は、処理後のデジタル音声信号を通信部１６に供給し、通信先に送信させる（ステップＳ１１１）。
【０１１６】
一方、処理後のデジタル音声信号を通信に用いないと判定した場合（ステップＳ１１０；Ｎｏ）、制御部１７は、操作部１４から供給された入力情報に基づいてデジタル音声信号を保存するか否かを判定する（ステップＳ１１２）。
【０１１７】
デジタル音声信号を保存すると判定した場合（ステップＳ１１２；Ｙｅｓ）、制御部１７は、処理後のデジタル音声信号を情報格納部１１に格納する（ステップＳ１１３）。
【０１１８】
処理後のデジタル音声信号を通信先に送信させた場合（ステップＳ１１１）、情報格納部１１に格納した場合（ステップＳ１１３）、あるいは、保存しないと判定した場合（ステップＳ１１２；Ｎｏ）、制御部１７は、操作部１４から供給された入力情報に基づいて、音声処理を終了するかどうかを判定する（ステップＳ１１４）。
【０１１９】
制御部１７は、操作部１４から音声処理の終了命令の入力情報が供給されなければ、音声処理を終了させないと判定する（ステップＳ１１４；Ｎｏ）。
【０１２０】
この場合、制御部１７は、再度、音声取得部１２に、音声取得処理を実行するように指示する（ステップＳ１０２）。
【０１２１】
一方、操作部１４から終了命令を指令された旨の入力情報が供給された場合（ステップＳ１１４；Ｙｅｓ）、制御部１７は、この音声処理を終了させる。
【０１２２】
次に、この音声処理装置１の動作を具体的に説明する。
音声取得部１２は、制御部１７に指示されて（ステップＳ１０２の処理）、音声取得処理を実行する。
【０１２３】
マイクロフォンアレイ１２１のマイクロフォン１２１１〜１２１３は、それぞれ、音声を入力してアナログ音声信号Ｓma１，Ｓma２，Ｓma３を取得する（ステップＳ１２１の処理）。
【０１２４】
Ａ／Ｄ変換器は、マイクロフォン１２１１〜１２１３がそれぞれ出力したアナログ音声信号Ｓma１，Ｓma２，Ｓma３に対してアナログ−デジタル変換を行い、それぞれ、デジタル音声信号Ｓmd１，Ｓmd２，Ｓmd３を出力する（ステップＳ１２２の処理）。
【０１２５】
マイクロフォンバラつき補正部１２３は、情報格納部１１に格納されているマイクロフォンバラつき補正値１１１を用いて、マイクロフォン１２１１〜１２１３の特性バラつきを補正する（ステップＳ１２３の処理）。
【０１２６】
音声取得部１２が音声取得処理を実行すると、音声取得部１２のマイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されて（ステップＳ１０３の処理）、マイクロフォンアレイ異常動作判定処理を実行する。
【０１２７】
マイクロフォンアレイ異常動作判定部１２４の無音判定部１２４１は、無音判定を行う（ステップＳ２０１〜Ｓ２０３の処理）。
【０１２８】
図７に示すように、時刻ｔ１において、デジタル音声信号Smd１，Smd２，Smd３のそれぞれの信号レベルＬmd_1，Ｌmd_2，Ｌmd_3がすべて規定レベルＬmd_th未満となった場合、無音判定部１２４１は、時間を計測する（ステップＳ２０２の処理）。
【０１２９】
時刻ｔ１から規定時間Ｔthを越えた時刻ｔ２になっても、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3が、すべて規定レベルＬmd_th未満となっている場合（ステップＳ２０３；Ｙｅｓ）、無音判定部１２４１は、無音と判定する。
【０１３０】
マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定すると、マイクロフォンアレイ異常動作判定を行わない。
【０１３１】
次に、マイクロフォン１２１１〜１２１３に音声が入力され、マイクロフォン１２１１〜１２１３が正常に動作している場合、図８（ａ）に示すように、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3は、すべて規定レベルＬmd_th以上となる。この場合、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。
【０１３２】
無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。
【０１３３】
音量比較部１２４２は、比較した結果、図８（ｂ）に示すような信号レベルＬmd_1，Ｌmd_2間の信号レベル差ΔＬ_12、信号レベルＬmd_2，Ｌmd_3間の信号レベル差ΔＬ_23、信号レベルＬmd_3，Ｌmd_1間の信号レベル差ΔＬ_31を取得したものとする。
【０１３４】
信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31の規格値ΔＬ_thが図８（ｂ）に示すように予め設定されている場合、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31は、すべて規格値ΔＬ_th以上となる。
【０１３５】
また、相関係数計算部１２４３は、図８（ｃ）に示すような、信号レベルＬmd_1，Ｌmd_2間の相関係数ｒ12、信号レベルＬmd_2，Ｌmd_3間の相関係数ｒ23，信号レベルＬmd_3，Ｌmd_1間の相関係数ｒ3１を計算したものとする（ステップＳ２０５の処理）。
【０１３６】
相関係数r12，r23，r31の規格値ｒ_thが図８（ｂ）に示すように予め設定されている場合、相関係数ｒ12、ｒ23、ｒ31は、すべて規格値ｒ_th以上となる。
【０１３７】
マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12、ΔＬ_23、ΔＬ_31がすべて規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th以上となるため、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３が正常に動作していると判定する（ステップＳ２０６；Ｎｏ）。
【０１３８】
マイクロフォンアレイ異常動作判定部１２４は、このように判定し、制御部１７に、マイクロフォンアレイ異常動作なしの通知を行うと（ステップＳ２０７の処理；ステップＳ１０４；Ｎｏ）、音声処理部１７１は、すべてのマイクロフォン１２１１〜１２１３を用いて音声加工処理を行う（ステップＳ１０５，Ｓ１０９の処理）。
【０１３９】
次に、マイクロフォン１２１２に故障が発生したか、マイクロフォンふさぎがあった場合、図９（ａ）に示すように、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬmd_th未満になる。
【０１４０】
しかし、デジタル音声信号Smd１，Smd３のそれぞれの信号レベルＬmd_1，Ｌmd_3は、規定レベルＬmd_th以上となるため、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。
【０１４１】
無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。比較した結果、音量比較部１２４２は、図９（ｂ）に示すような信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31を取得したものとする。
【０１４２】
規格値ΔＬ_thが図９（ｂ）に示すように予め設定されている場合、信号レベル差ΔＬ_31は規格値ΔＬ_th未満となるものの、信号レベル差ΔＬ_12，ΔＬ_23は、規格値ΔＬ_th以上となる。
【０１４３】
また、相関係数計算部１２４３は、図９（ｃ）に示すような、相関係数ｒ12，ｒ23，ｒ3１を計算したものとする（ステップＳ２０５の処理）。
【０１４４】
規格値ｒ_thが図９（ｂ）に示すように予め設定されている場合、相関係数ｒ3１は、規格値ｒ_th以上となるものの、相関係数ｒ12，ｒ23は、規格値ｒ_th未満となる。
【０１４５】
マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_12のうち、１つでも規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31のうち、１つでも規格値ｒ_th未満となると、マイクロフォンアレイ異常動作と判定する（ステップＳ２０６；Ｙｅｓ）。
【０１４６】
マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、動作異常のマイクロフォンを判別する（ステップＳ２０８の処理）。
【０１４７】
マイクロフォンアレイ異常動作判定部１２４は、最も高い信号レベルを判別する。図９（ａ）に示すように、最も高い信号レベルは、信号レベルＬmd_3である。
【０１４８】
マイクロフォンアレイ異常動作判定部１２４は、この信号レベルＬmd_3を基準にして、規格値ΔＬ_th以上となる信号レベル差を調べる。計算結果が図９（ｂ）に示すようなものになった場合、信号レベルＬmd_3を基準にすると、信号レベル差ΔＬ_23が規格値ΔＬ_th以上となる。
【０１４９】
また、マイクロフォンアレイ異常動作判定部１２４は、規格値ｒ_th以上となる相関係数を調べる。計算結果が図９（ｃ）に示すようなものになった場合、相関係数ｒ12，ｒ23が規格値ｒ_th未満となる。
【０１５０】
マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12，ｒ23が規格値ｒ_th未満となることを判別すると、信号レベルＬmd_2に対応するマイクロフォン１２１２が動作異常のマイクロフォンと判別する。
【０１５１】
マイクロフォンアレイ異常動作判定部１２４は、このように判別すると、制御部１７に、マイクロフォンアレイ異常動作の通知を行う（ステップＳ２０９の処理）。
【０１５２】
マイクロフォンアレイ異常動作の場合、すべてのマイクロフォン１２１１〜１２１３を用いて正常な音声処理を行うことができなくなる。
【０１５３】
このため、制御部１７は、マイクロフォンアレイ異常動作判定部１２４から通知があると（ステップＳ１０４；Ｙｅｓ）、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行う（ステップＳ１０６の処理）。
【０１５４】
このように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行うことにより、制御部１７は、異常動作をしているマイクロフォン１２１２が入力したアナログ音声信号Ｓma２を音声処理に使用しないようにする。
【０１５５】
表示部１５は、マイクロフォンアレイ１２１の異常動作の表示を行い（ステップＳ１０７の処理）、音声出力部１３は、警告音を出力する（ステップＳ１０８の処理）。
【０１５６】
次に、マイクロフォン１２１１とマイクロフォン１２１３とに故障が発生したか、マイクロフォンふさぎがあった場合、図１０（ａ）に示すように、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬ_th未満になる。
【０１５７】
しかし、デジタル音声信号Smd２の信号レベルＬmd_2が規定レベルＬmd_th以上となるため、無音判定部１２４１は、無音ではないと判定する（ステップＳ２０１；Ｎｏ）。
【０１５８】
無音判定部１２４１が無音ではないと判定すると、音量比較部１２４２は、信号レベルＬmd_1，Ｌmd_2，Ｌmd_3を比較する（ステップＳ２０４の処理）。比較した結果、音量比較部１２４２は、図１０（ｂ）に示すような信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_31を取得したものとする。
【０１５９】
規格値ΔＬ_thが図１０（ｂ）に示すように予め設定されている場合、図９（ｂ）の場合と同様に、信号レベル差ΔＬ_31は規格値ΔＬ_th未満となるものの、信号レベル差ΔＬ_12，ΔＬ_23は、規格値ΔＬ_th以上となる。
【０１６０】
また、相関係数計算部１２４３は、図１０（ｃ）に示すような、相関係数ｒ12，ｒ23，ｒ3１を計算したものとする（ステップＳ２０５の処理）。
【０１６１】
規格値ｒ_thが図１０（ｃ）に示すように予め設定されている場合、相関係数ｒ11，ｒ12，ｒ3１は、規格値ｒ_th未満となる。
【０１６２】
マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23，ΔＬ_12のうち、信号レベル差ΔＬ_12，ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th未満となるため、マイクロフォンアレイ異常動作と判定する（ステップＳ２０６；Ｙｅｓ）。
【０１６３】
マイクロフォンアレイ異常動作と判定すると、マイクロフォンアレイ異常動作判定部１２４は、動作異常のマイクロフォンを判別する（ステップＳ２０８の処理）。
【０１６４】
図１０（ａ）に示すように、最も高い信号レベルは、信号レベルＬmd_2であるため、マイクロフォンアレイ異常動作判定部１２４は、この信号レベルＬmd_3を基準にして、信号レベル差を調べ、規格値ΔＬ_th以上となる信号レベル差は、信号レベル差ΔＬ_12，ΔＬ_23であることを判別する。
【０１６５】
マイクロフォンアレイ異常動作判定部１２４は、信号レベル差ΔＬ_12，ΔＬ_23が規格値ΔＬ_th以上となり、相関係数ｒ12、ｒ23、ｒ31がすべて規格値ｒ_th未満となることを判別すると、マイクロフォン１２１１，１２１３が動作異常のマイクロフォンと判別する。
【０１６６】
マイクロフォンアレイ異常動作判定部１２４は、このように判別すると、制御部１７に、マイクロフォンアレイ異常動作の通知を行う（ステップＳ２０９の処理）。
【０１６７】
制御部１７は、マイクロフォンアレイ異常動作判定部１２４から通知があると（ステップＳ１０４；Ｙｅｓ）、異常動作をしているマイクロフォン１２１１，１２１３が入力したアナログ音声信号Ｓma１，Ｓma３を音声処理に使用しないようにする（ステップＳ１０６の処理）。
【０１６８】
音声処理部１７１が音声処理を行った結果、使用者の操作に従って通信を行う場合（ステップＳ１１０；Ｙｅｓ）は、通信部１６が処理後の音声信号を送信する。
【０１６９】
また、処理後の音声信号を保存する場合（ステップＳ１１２；Ｙｅｓ）は、制御部１７が処理後の音声信号を情報格納部１１に保存する（ステップＳ１１３の処理）。
【０１７０】
以上説明したように、本実施形態によれば、マイクロフォンアレイ異常動作判定部１２４は、マイクロフォン１２１１〜１２１３に対応するデジタル音声信号の各信号レベルの信号レベル差、相関係数に基づいて、マイクロフォンアレイ異常動作の判定を行うようにした。
【０１７１】
従って、所定レベル以上のパワーを有する信号を用いなくてもマイクロフォンアレイ１２１を構成する３つのマイクロフォン１２１１〜１２１３の異常動作判定を行うことができ、このため、音声処理中であっても、このような判定を行うことができる。
【０１７２】
また、制御部１７は、マイクロフォンアレイ異常動作判定部１２４からマイクロフォンアレイ異常動作等の通知があったときは、異常動作のマイクロフォンを音声処理に使用しないように、音声処理に使用するマイクロフォン１２１１〜１２１３の変更を行うようにした。
【０１７３】
従って、音声処理中であっても、正常な音声信号処理を継続させることができる。
【０１７４】
また、無音判定部１２４１は、無音判定を行い、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、マイクロフォンアレイ異常動作判定処理を行わないようにした。
【０１７５】
従って、無音区間が存在するような音声信号を故障診断用の外部入力信号として選択した場合でも、この無音区間において、すべてのマイクロフォン１２１１〜１２１３が故障と判定しないため、マイクロフォンアレイ異常動作判定の精度を高めることができる。
【０１７６】
また、マイクロフォンアレイ異常動作判定部１２４は、音声処理中に、マイクロフォンアレイ異常動作判定処理を実行する。このため、例えば、マイクロフォンアレイ１２１１〜１２１３を携帯電話等の組み込み機器等に搭載した場合に、マイクロフォンふさぎにより一時的にマイクロフォンが使用できない場合でも、マイクロフォンふさぎが解除されれば、再び、使用することができるようになる。
【０１７７】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
【０１７８】
即ち、本実施形態においては、上述してきた原理の一部のみを使用してもよいし、本発明は、上記実施形態に限定されるものではなく、上述の原理を組み合わせて新しく実施形態を構成することができる。
【０１７９】
例えば、上記実施形態では、マイクロフォンアレイ１２１が３つのマイクロフォン１２１１〜１２１３によって構成された場合について説明した。しかし、マイクロフォンアレイ１２１の数は３つに限定されるものではなく、２つ以上の任意の数であってもよい。
【０１８０】
上記実施形態では、音声出力部１３が音声処理の開始時に出力する確認音を、音声処理装置１の使用者に通知するために用いるものとして説明した（ステップＳ１０１）。
【０１８１】
しかし、この確認音をマイクロフォンアレイ異常動作検出処理に用いることもできる。即ち、マイクロフォン１２１１〜１２１３に、それぞれ、規定の音量、周波数等の音声を入力し、無音判定を行えば、マイクロフォンアレイ１２１の動作の正否を判別することができ、マイクロフォンアレイ異常動作判定部１２４は、高精度にマイクロフォンアレイ異常動作の判定を行うことができる。
【０１８２】
このように、この確認音をマイクロフォンアレイ異常動作判定処理に用いれば、この確認音は、さらに有効なものとなる。
【０１８３】
また、確認音の音量、周波数等を予め設定することにより、音声処理部１７１は、使用するパラメータの初期化を行うこともできる。
【０１８４】
また、エコーキャンセラ処理部１７１１は、音声取得部１２がこの確認音成分を取得して、確認音成分を抑圧することも可能である。
【０１８５】
また、ステップＳ１０９において音声出力部１３が出力する警告音を、確認音と同様、マイクロフォンアレイ異常動作検出処理に用いることもできる。
【０１８６】
上記実施形態では、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されて、マイクロフォンアレイ異常動作判定処理を実行するようにした。しかし、マイクロフォンアレイ異常動作判定部１２４は、制御部１７に指示されずにマイクロフォンアレイ異常動作判定処理を実行することもできる。
【０１８７】
即ち、マイクロフォンアレイ異常動作判定部１２４は、予め設定された規定時間が経過する毎に、例えば、２秒に１回、マイクロフォンアレイ異常動作判定処理を実行するようにしてもよい。
【０１８８】
この場合、マイクロフォンアレイ異常動作判定部１２４は、この処理を実行する毎に、情報格納部１１にマイクロフォンアレイ異常動作の判定結果を記憶し、制御部１７は、情報格納部１１を参照して判定済みの判定結果を取得する。
【０１８９】
このように構成されることにより、制御部１１等の処理量を低減することができ、低消費電力化を実現することもできる。また、音声処理装置１が低処理能力の場合であっても、音声処理をリアルタイムに行うことができる。
【０１９０】
上記実施形態では、制御部１７がマイクロフォン１２１１〜１２１３の設定を行う場合（ステップＳ１０６）、すべてのマイクロフォン１２１１〜１２１３を音声処理に使用するように設定するようにした。
【０１９１】
しかし、制御部１７は、例えば、音声処理に使用するマイクロフォンを、すべてではなく、マイクロフォン１２１１とマイクロフォン１２１２、又はマイクロフォン１２１１とマイクロフォン１２１３に設定することもできる。
【０１９２】
また、制御部１７は、音声処理に使用するマイクロフォンを、マイクロフォン１２１１，１２１２に設定しているときに、マイクロフォンアレイ異常動作判定部１２４からマイクロフォンアレイ異常動作の判定結果が通知されたとき、設定をマイクロフォン１２１１，１２１３に変更することもできる（ステップＳ１０６）。
【０１９３】
上記実施形態では、マイクロフォンアレイ異常動作等の通知があった場合、表示部１５は、マイクロフォンアレイ異常動作の表示を行うようにした。しかし、表示はこれだけに限られるものではなく、例えば、表示部１５は、マイクロフォンふさぎが起こっていないかどうかの確認を音声処理装置１の使用者に促すメッセージを表示してもよい。
【０１９４】
上記実施形態では、無音判定部１２４１が無音と判定した場合、マイクロフォンアレイ異常動作か、マイクロフォン１２１１〜１２１３に音声が入力されない状態なのかを判別することはできないため、マイクロフォンアレイ異常動作の判定だけでなく、音声処理も行わないようにすることもできる。
【０１９５】
この場合、マイクロフォンアレイ異常動作判定部１２４は、無音判定部１２４１が無音と判定したときは、制御部１７に対し、無音である旨の通知を行い、制御部１７は、この通知があった場合には、音声処理を終了させる。
【０１９６】
上記実施形態では、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果に基づいて、マイクロフォンアレイ異常動作の判定を行うものとした。
【０１９７】
しかし、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果のうち、いずれか一方を利用して、マイクロフォンアレイ異常動作の判定を行うようにしてもよい。
【０１９８】
また、マイクロフォンアレイ異常動作判定部１２４は、音量比較部１２４２の計算結果及び相関係数計算部１２４３の計算結果以外の方法を用いてマイクロフォンアレイ異常動作判定を行うようにしてもよい。
【０１９９】
本処理の詳細については、後述する。なお、本処理は、規定時間経過するごとに１回のみ行うようにしてもよい。例えば、２秒に１回のみ本処理を行うようにし、本処理を行わないときは前回の処理結果と同じとみなすようにしてもよい。このようにすることで本発明を実施するための音声処理装置１の処理量を低減し、低消費電力化を実現することが可能となる。
【０２００】
また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、音声処理装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０２０１】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２０２】
【図１】本発明の実施形態に係る音声処理装置の構成を示すブロック図である。
【図２】図１に示す制御部が実行する音声処理を示すフローチャート（その１）である。
【図３】図１に示す制御部が実行する音声処理を示すフローチャート（その２）である。
【図４】図１に示す音声取得部が実行する音声取得処理を示すフローチャートである。
【図５】図１に示すマイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理を示すフローチャートである。
【図６】図１に示す音声処理部が実行する音声加工処理を示すフローチャートである。
【図７】音声処理装置が無音判定を行う場合の具体的な動作を示す図である。
【図８】すべてのマイクロフォンが正常に動作している場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。
【図９】１つのマイクロフォンに故障等が発生した場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。
【図１０】２つのマイクロフォンに故障等が発生した場合に、マイクロフォンアレイ異常動作判定部が実行するマイクロフォンアレイ異常動作判定処理の具体的な動作を示す図であり、（ａ）は、各マイクロフォンの信号レベルと予め設定された規格値との関係を示し、（ｂ）は、各信号レベル間の信号レベル差と予め設定された規格値との関係を示し、（ｃ）は、各信号レベル間の相関係数と予め設定された規格値との関係を示す。
【符号の説明】
【０２０３】
１  音声処理装置
１１  情報格納部
１２  音声取得部
１７  制御部
１２１  マイクロフォンアレイ
１２４  マイクロフォンアレイ異常動作判定部
１７１  音声処理部
１２１１〜１２１３  マイクロフォン
１２４１  無音判定部
１２４２  音量比較部
１２４３  相関係数計算部
【図１】
0005034107.tif 000002
【図２】
0005034107.tif 000003
【図３】
0005034107.tif 000004
【図４】
0005034107.tif 000005
【図５】
0005034107.tif 000006
【図６】
0005034107.tif 000007
【図７】
0005034107.tif 000008
【図８】
0005034107.tif 000009
【図９】
0005034107.tif 000010
【図１０】
0005034107.tif 000011