(57)【要約】  本発明は、集音方法に関し、前記方法は、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とし、基準集音装置の元の周波数領域信号の位相を位相とする合成周波数領域信号を合成するステップと、合成周波数領域信号を合成時間領域信号に変換するステップと、を含む。本発明の実施例に係る集音方法を適用することで、集音アレイにより収集される元の時間領域信号における干渉方向のノイズが十分に抑制され、これにより、強化された時間領域信号が得られる。【選択図】図１
2022500681.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音方法。
【請求項２】
前記Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択するステップと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップと、を含む
ことを特徴とする請求項１に記載の集音方法。
【請求項３】
前記各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得するステップと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定するステップと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定するステップと、を含む
ことを特徴とする請求項２に記載の集音方法。
【請求項４】
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定するステップと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定するステップと、を含む
ことを特徴とする請求項２に記載の集音方法。
【請求項５】
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される
ことを特徴とする請求項１に記載の集音方法。
【請求項６】
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換する信号変換モジュールと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られる信号処理モジュールと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である信号合成モジュールと、
前記合成周波数領域信号を合成時間領域信号に変換する信号出力モジュールと、を備え、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音装置。
【請求項７】
前記信号処理モジュールによりＮ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む
ことを特徴とする請求項６に記載の集音装置。
【請求項８】
前記信号処理モジュールにより各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む
ことを特徴とする請求項７に記載の集音装置。
【請求項９】
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む
ことを特徴とする請求項７に記載の集音装置。
【請求項１０】
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される
ことを特徴とする請求項６に記載の集音装置。
【請求項１１】
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリ、とを備え、
前記プロセッサーは、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であり、
前記合成周波数領域信号を合成時間領域信号に変換するように構成され、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
ことを特徴とする集音装置。
【請求項１２】
非一時的コンピュータ読み取り可能な記録媒体であって、前記記録媒体における命令が端末のプロセッサーにより実行されると、端末が集音方法を実行するようにし、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である
非一時的コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集音分野に関し、特に集音方法、装置及び媒体に関する。
【背景技術】
【０００２】
モノのインターネット、ＡＩの時代で、人工知能のコア技術の１つであるインテリジェント音声は、人間とコンピュータのインタラクションモードを効果的に改善し、スマート製品を使用する利便性を大幅に改善することができる。関連技術では、スマート製品デバイスは集音にマイクアレイを多く採用し、マイクアレイビームフォーミング技術を適用して音声信号処理品質を向上し、これにより、実際の環境での音声認識率を向上させる。現在のマイクアレイのビームフォーミング技術には、以下のような２つの難点がある。１．ノイズを推定し難い。２．強い干渉下での音声方向が不明である。音声の方向探知の問題の場合、現在の方向探知アルゴリズムは静かな場面では比較的正確であるが、干渉の強い場面では方向探知アルゴリズムが失効されることがあり、これは、方向探知アルゴリズム自体の制約によって決定される。したがって、当技術分野では、今までも干渉の強い場面での音声の方向探知の問題を十分に解決することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、関連技術に存在する問題を克服するための、集音方法、装置及び媒体を提供する。
【課題を解決するための手段】
【０００４】
本発明の実施例の第１の態様によれば、集音方法が提供され、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択するステップと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップと、を含む。
前記各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定するステップは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得するステップと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定するステップと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定するステップと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得するステップは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定するステップと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定するステップと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【０００５】
本発明の実施例の第２の態様によれば、集音装置が提供され、前記装置は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換する信号変換モジュールと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られる信号処理モジュールと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である信号合成モジュールと、
前記合成周波数領域信号を合成時間領域信号に変換する信号出力モジュールと、を備え、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
前記信号処理モジュールによりＮ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
前記Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
前記信号処理モジュールにより各予定の格子点で、前記Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
前記基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
前記各予定の格子点で、前記各周波数点でのステアリングベクトルに基づき、前記Ｍ個の元の周波数領域信号をビームフォーミングして、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
前記各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
前記Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【０００６】
本発明の実施例の第３の態様によれば、集音装置が提供され、前記装置は、
プロセッサーと、
プロセッサーで実行可能な指令を記憶するためのメモリと、を備え、
前記プロセッサーは、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であり、
前記合成周波数領域信号を合成時間領域信号に変換するように構成され、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【０００７】
本発明の実施例の第４の態様によれば、非一時的コンピュータ読み取り可能な記録媒体が提供され、前記記録媒体における命令が端末のプロセッサーにより実行されると、端末が集音方法を実行するようにし、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、前記Ｍ個の元の周波数領域信号をビームフォーミングして、前記Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
前記合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【発明の効果】
【０００８】
本発明に提供された技術案によれば、以下のような技術効果が奏される。
多方向ビームフォーミング戦略を採用して、多方向ビームを合計し、これにより、ビームパターンが干渉方向ではヌルを形成し、他の方向では正常に出力される効果を達成し、強い干渉下での方向探知アルゴリズムの不正確により、集音効果が悪化し、又は集音が不正確な難題を巧妙に避けた。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明を限定しない。
【図面の簡単な説明】
【０００９】
ここの図面は、明細書に組み入れて本明細書の一部分を構成し、本発明に該当する実施例を例示するとともに、明細書とともに本発明の原理を解釈する。
【図１】一例示的な実施例に係る集音方法を示すフローチャートである。
【図２】一例示的な実施例に係る集音方法により予定の格子点を確立する模式図である。
【図３】本発明の実施例に係る集音方法が適用されるマイクアレイのシミュレーションビームパターンを示す。
【図４】一例示的な実施例に係る集音装置を示すブロック図である。
【図５】一例示的な実施例に係る装置を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施形態に記載の実施例は、本発明と一致する全ての実施例を代表するものではない。即ち、それらは、特許請求の範囲に記載の本発明のある側面に一致する装置及び方法の例に過ぎない。
【００１１】
本発明の実施例に係る集音方法は、集音装置アレイに使用され、集音装置アレイは、空間内の異なる位置に位置する複数の集音装置が、一定の形状規則に従って配置して形成されるアレイであり、空間内で伝播する音信号を空間サンプリングするための装置であり、収集される信号には、その空間位置情報が含まれる。集音装置のトポロジーによれば、アレイは、１次元アレイ、２次元平面アレイであってもよいし、球状等の３次元アレイであってもよい。
【００１２】
図１は、一例示的な実施例に係る集音方法を示すフローチャートであり、図１に示すように、本発明の実施例に係る集音方法は、ステップＳ１１〜Ｓ１４を含む。
【００１３】
ステップＳ１１において、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換し、ここで、Ｍは２以上の整数である。本発明の方法を実施するためには、２つ以上の集音装置を使用して、異なる方向から音信号を収集する必要があり、集音装置の数が多いほど、干渉を抑制する効果がよい。Ｍ個の集音装置の配列は、線形アレイ、平面アレイ、又は当業者が想到し得る他の任意の配列方式であってもよい。
【００１４】
一例では、
【数１】
2022500681.tif 000003
で集音装置アレイ内のｍ番目の集音装置の１フレームウィンドウ化信号を表す（ｍ＝１、２……Ｍ）。時間領域信号
【数２】
2022500681.tif 000004
をフーリエ変換した後、対応する元の周波数領域信号
【数３】
2022500681.tif 000005
が得られる。例示的に、１フレームの長さは、１０ｍｓ〜３０ｍｓの範囲、例えば２０ｍｓに設定することができる。そして、ウィンドウ化処理は、フレーム化後の信号を連続させるためのもので、例示的に、オーディオ信号処理にハミングウィンドウを追加することができる。
【００１５】
ステップＳ１２において、Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られ、ここで、Ｎは２以上の整数である。
【００１６】
予定の格子点とは、希望の収集空間内で推定音源位置又は方向を複数の格子点に分割し、即ち、集音装置アレイ（複数の集音装置を含む）を中心とする希望の収集空間をグリッド処理することである。具体的に、この処理のプロセスは、下記のとおりである。集音装置アレイ幾何中心を格子中心とし、格子中心からのある長さを半径として２次元空間内の円形グリッド又は３次元空間内の球形グリッドを行い、また例えば、集音装置アレイ幾何中心を格子中心とし、格子中心を正方形中心とし、ある長さを辺の長さとして２次元空間内の正方形グリッドを行い、又は、格子中心を立方体中心とし、ある長さを辺の長さとして３次元空間内の立方体グリッドを行う。
【００１７】
なお、予定の格子点は、本実施例でビームフォーミングのために使用される仮想点にすぎず、実際の音源点又は音源収集点ではない。予定の格子点の数Ｎの値が大きいほど、選択される方向が多く、より多くの方向でビームフォーミングすることができ、最終的に実現効果もよい。それとともに、複数の方向でサンプリングするために、Ｎ個の予定の格子点は可能な限り異なる方向に分散されるべきである。
【００１８】
一例では、Ｎ個の予定の格子点を同じ平面に設定し、この平面内の各方向に分散させる。さらに、説明を簡単にするために、Ｎ個の予定の格子点は３６０度内で均等に分散され、計算を簡単にするとともに、より良い効果を奏することができる。なお、本発明のＮ個の予定の格子点の配列方式は、これに限定されない。
【００１９】
ステップＳ１３において、Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で上記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である。ここで、基準集音装置は、上記ステップＳ１２におけるビームフォーミングプロセス、具体的に、ビームフォーミングプロセスにおける基準遅延を決定するための１つの集音装置に関連する。以下、ビームフォーミングプロセスをさらに詳しく説明する。また、前記Ｋ個の周波数点は、ステップＳ１１における元の周波数領域信号に関連し、例えば、フーリエ変換により音信号を時間領域から周波数領域に変換した後、周波数領域信号に基づいてそれに含まれる複数の周波数点を決定することができる。
【００２０】
ステップＳ１４において、合成周波数領域信号を合成時間領域信号に変換する。この合成時間領域信号は、干渉除去後の強化音声信号であり、集音装置の後続の処理のために使用され、したがって、ノイズを抑制する目的を達成することができる。
【００２１】
以下、集音方法のステップＳ１２について詳しく説明する。一実施例では、ステップＳ１２は、ステップＳ１２１〜Ｓ１２３を含んでもよい。
【００２２】
ステップＳ１２１において、Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択する。
【００２３】
複数の方向でサンプリングするために、Ｎ個の予定の格子点は可能な限り異なる方向に分散されるべきである。実施を簡単にするために、Ｎ個の予定の格子点を同じ平面内で選択し、この平面内の各方向に分散させることができる。もちろん、本発明の方法をより簡単に実施するために、Ｎ個の予定の格子点は３６０度内で均等に分散されてもよい。
【００２４】
ステップＳ１２２において、各予定の格子点で、Ｍ個の集音装置とこの予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定する。
【００２５】
例えば、一例では、ステップＳ１２２は、Ｍ個の集音装置のアレイ座標系原点を中心として、前記Ｍ個の集音装置の座標、及び前記Ｎ個の予定の格子点の座標を決定し、Ｍ個の集音装置の座標に基づき、各予定の格子点のために各周波数点でステアリングベクトルを確立し、各周波数点でのＮ個の予定の格子点のステアリングベクトルを得られるように実現されてもよい。
【００２６】
一実施例では、ステップＳ１２２は、下記のステップを含んでもよい。
ステップＳ１２２１において、各予定の格子点からＭ個の集音装置までの距離ベクトルを取得する。
【００２７】
ステップＳ１２２２において、この予定の格子点からＭ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定する。
【００２８】
ステップＳ１２２３において、基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定する。
【００２９】
一例では、ある予定の格子点を例として、この予定の格子点がｎ番目の予定の格子点であるものとすると（ｎ＝１、２…Ｎ）、表現を簡単にするために、
【数４】
2022500681.tif 000006
でこの点の座標を表し、座標値は
【数５】
2022500681.tif 000007
である。また、Ｍ個の集音装置があるため、Ｍ個の集音装置の座標があり、それぞれ
【数６】
2022500681.tif 000008
、
【数７】
2022500681.tif 000009
…
【数８】
2022500681.tif 000010
である。それに対応する座標値は、それぞれ
【数９】
2022500681.tif 000011
、
【数１０】
2022500681.tif 000012
…
【数１１】
2022500681.tif 000013
であり、そして、Ｐで全ての集音装置の座標行列を表し、
【数１２】
2022500681.tif 000014
である。
【００３０】
まず、この予定の格子点から基準集音装置までの距離を求める。例として、ここで、Ｍ個の集音装置のうちの第１の集音装置が基準集音装置として機能するものとする。なお、実際には、集音方法全体の実行中に、この基準集音装置がそのまま維持される限り、Ｍ個の集音装置のうちのいずれかの集音装置でも、基準集音装置として指定されることができる。したがって、この例では、この予定の格子点から基準集音装置までの距離は、
【数１３】
2022500681.tif 000015
である。そして、この予定の格子点からＭ個の集音装置までの距離ベクトルを求めることができ、
【数１４】
2022500681.tif 000016
であり、ここで、Ｐは上記で表わされる全ての集音装置の座標行列である。なお、実際には、予定の格子点から基準集音装置までの距離
【数１５】
2022500681.tif 000017
は、予定の格子点からＭ個の集音装置までの距離ベクトルｄｉｓｔのうちの１つの値であり、したがって、
【数１６】
2022500681.tif 000018
及びｄｉｓｔの計算順序は制限されない。
【００３１】
この予定の格子点
【数１７】
2022500681.tif 000019
からＭ個の集音装置までの距離ベクトルに基づき、この予定の格子点
【数１８】
2022500681.tif 000020
からＭ個の集音装置までの遅延ベクトルを計算し、ｔａｕで表すと、
【数１９】
2022500681.tif 000021
であり、即ち、ｄｉｓｔベクトルの２乗を行ごとに合計した後、根号を外す。
【００３２】
この予定の格子点からＭ個の集音装置までの遅延ベクトルから、この予定の格子点から基準集音装置までの遅延を減算した後、音速で除算し、基準遅延ｔａｕｔが得られ、
【数２０】
2022500681.tif 000022
である。ここで、ｔａｕは、この予定の格子点からＭ個の集音装置までの遅延ベクトルであり、
【数２１】
2022500681.tif 000023
は、この予定の格子点から指定された基準集音装置までの遅延であり、
【数２２】
2022500681.tif 000024
であり、ｃは音速である。
【００３３】
基準遅延ベクトルｔａｕｔをステアリングベクトル式に代入すると、
【数２３】
2022500681.tif 000025
であり、Ｋ個の周波数点でのこの予定の格子点のステアリングベクトルを求めることができ、ここで、ｅは自然基底、ｊは虚数単位、Ｋは、フーリエ変換により得られる周波数点数であり（値の範囲は０からＮｆｆｔ−１である）、
【数２４】
2022500681.tif 000026
であり、ここで、
【数２５】
2022500681.tif 000027
は採用率、Ｎｆｆｔはフーリエ変換の点数、
【数２６】
2022500681.tif 000028
は音速である。同様に、各周波数点での他の予定の格子点のステアリングベクトルを求めることができ、ここでは列挙しない。
【００３４】
次に、ステップＳ１２３において、各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、各予定の格子点に対応するビームフォーミング周波数領域信号を取得する。
【００３５】
一例では、ステップＳ１２３は、ステップＳ１２３１〜Ｓ１２３２を含んでもよい。
ステップＳ１２３１において、各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定し、
【数２７】
2022500681.tif 000029
である。ここで、
【数２８】
2022500681.tif 000030
は各周波数点でのこの予定の格子点のステアリングベクトル、
【数２９】
2022500681.tif 000031
は各周波数点でのノイズ共分散行列であり、いずれかのアルゴリズムで推定されるノイズ共分散行列であってもよく、
【数３０】
2022500681.tif 000032
は
【数３１】
2022500681.tif 000033
の逆、
【数３２】
2022500681.tif 000034
はステアリングベクトルの共役転置である。
【００３６】
ステップＳ１２３２において、各周波数点のビームフォーミング重み係数、及びＭ個の元の周波数領域信号に基づき、各予定の格子点の各周波数点にそれぞれ対応するビームフォーミング周波数領域信号を決定する。具体的に、１つの予定の格子点について、各周波数点のビームフォーミング重み係数、及びＭ個の元の周波数領域信号のうちのこの周波数点に対応するＭ個の周波数成分に基づき、この周波数点に対応するビームフォーミング周波数成分を決定することができ、そして、Ｋ個のビームフォーミング周波数成分からこの予定の格子点のビームフォーミング周波数領域信号を合成する。
【数３３】
2022500681.tif 000035
である。ここで、
【数３４】
2022500681.tif 000036
であり、
【数３５】
2022500681.tif 000037
は
【数３６】
2022500681.tif 000038
の共役転置である。
【００３７】
各予定の格子点に対応して、１つのビームフォーミング周波数領域信号が取得され、Ｎ個の予定の格子点を選択すると、Ｎ個のビームフォーミング周波数領域信号を取得することができ、それぞれ
【数３７】
2022500681.tif 000039
、
【数３８】
2022500681.tif 000040
、…
【数３９】
2022500681.tif 000041
として表される。
【００３８】
一実施例では、ステップＳ１３において、前記Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相である。
【００３９】
一例では、取得されたＮ個のビームフォーミング周波数領域信号
【数４０】
2022500681.tif 000042
、
【数４１】
2022500681.tif 000043
、…
【数４２】
2022500681.tif 000044
について、ある周波数点での周波数成分の振幅は、
【数４３】
2022500681.tif 000045
、
【数４４】
2022500681.tif 000046
、…
【数４５】
2022500681.tif 000047
として表され、ｋ番目の周波数点でのＮ個全てのビームフォーミング周波数領域信号の平均振幅が得られ、
【数４６】
2022500681.tif 000048
である。基準集音装置により収集された周波数領域信号の位相を取得し、基準集音装置により収集された周波数領域信号は、
【数４７】
2022500681.tif 000049
として表され、その位相は
【数４８】
2022500681.tif 000050
である。Ｋ個の周波数点を含み、且つ各周波数点で対応する周波数点の平均振幅を振幅とし、基準集音装置の元の周波数領域信号のうちの対応する周波数点の位相を位相とする合成周波数領域信号を合成し、
【数４９】
2022500681.tif 000051
である。
【００４０】
集音方法のステップＳ１４に戻り、このステップでは、合成周波数領域信号を逆フーリエ変換し、合成時間領域信号が取得され、
【数５０】
2022500681.tif 000052
である。ここで、この合成時間領域信号は、即ち、干渉除去後の強化音信号である。本発明の実施例に係る集音方法を適用することで、マイクアレイにより収集される元の時間領域信号における干渉方向のノイズが十分に抑制され、これにより、強化された時間領域信号が得られる。
【００４１】
一実施例では、ステップＳ１２１において、Ｎ個の予定の格子点は、Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。例示的に、この円の半径は、約１ｍから５ｍの間であってもよい。計算を簡単にするとともに、効果もよい。
【００４２】
本発明の技術手段をよりよく理解するために、これから例を挙げて説明する。
図２に示すように、スマートスピーカを例として、スピーカは、６つのマイクを含み、６つのマイクのアレイ座標系原点を中心として、６つのマイクで構成されるアレイ水平面上で、半径がｒの１つの円を選択し、半径ｒは１〜１．５ｍであってもよく、通常の状況下で、人とスマートスピーカとがインタラクションする距離である。円上の０°〜３６０°の範囲内で６０°の等間隔で６つの点を選択し、例えば、１°、６１°、１２１°、１８１°、２４１°、３０１°に対応する点を予定の格子点として選択する。また、９０°方向の位置の集音装置を基準集音装置として指定し、後続の計算では、常にこの集音装置を基準集音装置とし、もちろん、他の集音装置を基準集音装置として指定してもよい。
【００４３】
次に、アレイ座標系の原点を中心として、６つのマイクの座標を取得し、それぞれ
【数５１】
2022500681.tif 000053
、
【数５２】
2022500681.tif 000054
…
【数５３】
2022500681.tif 000055
である。それに対応する座標値は、それぞれ
【数５４】
2022500681.tif 000056
、
【数５５】
2022500681.tif 000057
…
【数５６】
2022500681.tif 000058
であり、そして、Ｐで全ての集音装置の座標行列を表し、
【数５７】
2022500681.tif 000059
であり、
及び、６つの予定の格子点の座標は、
【数５８】
2022500681.tif 000060
、
【数５９】
2022500681.tif 000061
…
【数６０】
2022500681.tif 000062
である。
【００４４】
６１°の位置の予定の格子点を例として、この点は、２番目の予定の格子点であり、この点の座標は
【数６１】
2022500681.tif 000063
、座標値は
【数６２】
2022500681.tif 000064
である。
【００４５】
まず、この予定の格子点と基準集音装置（例示的に、ここでは第１の集音装置を例とする）との間の距離を求め、
【数６３】
2022500681.tif 000065
である。そして、この予定の格子点
【数６４】
2022500681.tif 000066
からＭ個の集音装置までの距離ベクトルを求めることができ、
【数６５】
2022500681.tif 000067
である。
【００４６】
この予定の格子点
【数６６】
2022500681.tif 000068
からＭ個の集音装置までの距離ベクトルに基づき、この予定の格子点
【数６７】
2022500681.tif 000069
からＭ個の集音装置までの遅延ベクトルを計算し、ｔａｕで表すと、
【数６８】
2022500681.tif 000070
であり、即ち、ｄｉｓｔの２乗を行ごとに合計した後、根号を外す。
【００４７】
この予定の格子点
【数６９】
2022500681.tif 000071
からＭ個のマイクで構成されるアレイまでの遅延ベクトルから、この予定の格子点
【数７０】
2022500681.tif 000072
から基準集音装置までの遅延を減算した後、音速で除算し、基準遅延ｔａｕｔが得られ、
【数７１】
2022500681.tif 000073
である。ここで、ｔａｕは、この予定の格子点
【数７２】
2022500681.tif 000074
からＭ個の集音装置までの遅延ベクトルであり、
【数７３】
2022500681.tif 000075
は、この予定の格子点
【数７４】
2022500681.tif 000076
から指定された基準集音装置までの遅延であり、ｃは音速である。
【００４８】
基準遅延ベクトルｔａｕｔをステアリングベクトル式に代入すると、
【数７５】
2022500681.tif 000077
であり、Ｋ個の周波数点でのこの予定の格子点
【数７６】
2022500681.tif 000078
のステアリングベクトルを求めることができ、
【数７７】
2022500681.tif 000079
として表される。ここで、ｅは自然基底、ｊは虚数単位、Ｋは、フーリエ変換により得られる周波数点数であり（値の範囲は０からＮｆｆｔ−１である）、
【数７８】
2022500681.tif 000080
であり、ここで、
【数７９】
2022500681.tif 000081
は採用率、Ｎｆｆｔはフーリエ変換の点数、
【数８０】
2022500681.tif 000082
は音速である。
【００４９】
上記方法により、各周波数点での他の予定の格子点のステアリングベクトルを取得することができる。
【００５０】
６つの集音装置により収集された６つの時間領域信号を６つの元の周波数領域信号に変換し、
【数８１】
2022500681.tif 000083
、
【数８２】
2022500681.tif 000084
、…
【数８３】
2022500681.tif 000085
である。
【００５１】
６つの予定の格子点のそれぞれで、６つの元の周波数領域信号をビームフォーミングし、
依然として２番目の予定の格子点
【数８４】
2022500681.tif 000086
を例として、この点のビームフォーミング重み係数を計算し、
【数８５】
2022500681.tif 000087
であり、ここで、
【数８６】
2022500681.tif 000088
は各周波数点での第２の予定の格子点のステアリングベクトルであり、
【数８７】
2022500681.tif 000089
はノイズ共分散行列であり、いずれかのアルゴリズムで推定されるノイズ共分散行列であってもよく、
【数８８】
2022500681.tif 000090
は
【数８９】
2022500681.tif 000091
の逆、
【数９０】
2022500681.tif 000092
はステアリングベクトルの共役転置である。
【００５２】
第２の予定の格子点
【数９１】
2022500681.tif 000093
で、６つの集音装置の元の周波数領域信号をビームフォーミングし、第２の予定の格子点に対応するビームフォーミング周波数領域信号が得られ、
【数９２】
2022500681.tif 000094
である。ここで、
【数９３】
2022500681.tif 000095
である。
【００５３】
他の予定の格子点について、同じ方法を採用して、総６つのビームフォーミング周波数領域信号が得られ、
【数９４】
2022500681.tif 000096
、
【数９５】
2022500681.tif 000097
、…
【数９６】
2022500681.tif 000098
である。
【００５４】
上記６つのビームフォーミング周波数領域信号に対応して、ある周波数点に、この周波数点での周波数に対応する６つの周波数成分があり、ｋ番目の周波数点を例として、この周波数点に対応する周波数で、６つの周波数成分は、それぞれ
【数９７】
2022500681.tif 000099
、
【数９８】
2022500681.tif 000100
、…
【数９９】
2022500681.tif 000101
である。ｋ番目の周波数点での６つのビームフォーミング周波数領域信号の平均振幅が得られ、
【数１００】
2022500681.tif 000102
である。
【００５５】
基準集音装置により収集された周波数領域信号の位相を取得し、基準集音装置により収集された周波数領域信号は、
【数１０１】
2022500681.tif 000103
として表され、その位相は
【数１０２】
2022500681.tif 000104
である。
【００５６】
各周波数点で平均振幅を振幅とし、基準集音装置の元の周波数領域信号の位相を位相とする合成周波数領域信号を合成し、
【数１０３】
2022500681.tif 000105
である。
【００５７】
合成周波数領域信号を逆フーリエ変換し、合成時間領域信号を取得し、
【数１０４】
2022500681.tif 000106
である。合成時間領域信号を出力信号とする。
【００５８】
図３は、本発明の実施例に係る集音方法が適用されるマイクアレイのシミュレーションビームパターンを示す。
【００５９】
ビームパターンの横軸は、上記予定の格子点が位置する方位である。シミュレーションプロセスでは、いずれかの方位上に干渉源を設定することができる。シミュレーションプロセス及びビームパターンを描画する具体的なプロセスは、当業者に知られており、ここでは詳細な説明を省略する。
【００６０】
本発明の実施例に係る集音方法を適用することにより、干渉方向の信号利得が最小、つまり、干渉信号が抑制され、他の方向の音信号は大きく影響されなかったことを確認することができ。図３に示すように、干渉方向に非常に深いヌルが形成され、干渉が抑制されるとともに、他の方向の音信号が保護される。この実施例から分かるように、本発明の方法によれば、任意の方向の干渉を抑制し、ノイズ干渉を抑制する目的を達成することができる。
【００６１】
図４は、一例示的な実施例に係る集音装置を示すブロック図である。図４を参照すると、この装置は、信号変換モジュール４０１、信号処理モジュール４０２、信号合成モジュール４０３及び信号出力モジュール４０４を備える。
【００６２】
この信号変換モジュール４０１は、Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するように構成される。
【００６３】
この信号処理モジュール４０２は、Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるように構成される。
【００６４】
この信号合成モジュール４０３は、Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるように構成される。
【００６５】
この信号出力モジュール４０４は、合成周波数領域信号を合成時間領域信号に変換するための信号出力モジュールとして構成される。
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【００６６】
信号処理モジュールによりＮ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られることは、
Ｍ個の集音装置の希望の収集範囲内で、異なる方向のＮ個の予定の格子点を選択することと、
各予定の格子点で、Ｍ個の集音装置と予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することと、
各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することと、を含む。
【００６７】
信号処理モジュールにより各予定の格子点で、Ｍ個の集音装置と予定の格子点との位置関係に基づき、各周波数点に関連するステアリングベクトルを決定することは、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトルを取得することと、
この予定の格子点から前記Ｍ個の集音装置までの距離ベクトル、及びこの予定の格子点から基準集音装置までの距離に基づき、この予定の格子点からＭ個の集音装置までの基準遅延ベクトルを決定することと、
基準遅延ベクトルに基づき、各周波数点でのこの予定の格子点のステアリングベクトルを決定することと、を含む。
【００６８】
各予定の格子点で、各周波数点でのステアリングベクトルに基づき、Ｍ個の元の周波数領域信号をビームフォーミングし、この予定の格子点に対応するビームフォーミング周波数領域信号を取得することは、
各周波数点のステアリングベクトル、及び各周波数点のノイズ共分散行列に基づき、各周波数点に対応するビームフォーミング重み係数を決定することと、
ビームフォーミング重み係数、及び前記Ｍ個の元の周波数領域信号に基づき、各予定の格子点に対応するビームフォーミング周波数領域信号を決定することと、を含む。
【００６９】
Ｎ個の予定の格子点は、前記Ｍ個の集音装置により形成されるアレイ座標系の水平面内の１つの円上に均等に配列される。
【００７０】
上記実施例の装置において、各モジュールが操作を行う具体的な方法は、すでに関連方法の実施例で詳しく説明しており、ここで詳細な説明を省略する。
【００７１】
図５は、一例示的な実施例に係る集音装置５００を示すブロック図である。例えば、装置５００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ等のものであってもよい。
【００７２】
図５を参照すると、装置５００は、処理ユニット５０２、メモリ５０４、電源ユニット５０６、マルチメディアユニット５０８、オーディオユニット５１０、入力／出力（Ｉ／Ｏ）インタフェース５１２、センサーユニット５１４、及び通信ユニット５１６からなる群から選ばれる少なくとも１つを備えてもよい。
【００７３】
処理ユニット５０２は、一般的には、装置５００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット５０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサー５２０を備えてもよい。また、処理ユニット５０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット５０２は、マルチメディアユニット５０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【００７４】
メモリ５０４は、装置５００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置５００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【００７５】
電源ユニット５０６は、装置５００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置５００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【００７６】
マルチメディアユニット５０８は、装置５００とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有する。タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。幾つかの実施例では、マルチメディアユニット５０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置５００が、例えば、撮影モードやビデオモードのような操作モードにあるとき、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【００７７】
オーディオユニット５１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット５１０は、マイクロフォン（ＭｉＣ）を有してもよい。装置５００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ５０４にさらに記憶されてもよいし、通信ユニット５１６を介して送信されてもよい。幾つかの実施例では、オーディオユニット５１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【００７８】
Ｉ／Ｏインタフェース５１２は、処理ユニット５０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【００７９】
センサーユニット５１４は、装置５００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット５１４は、装置５００のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置５００のディスプレイ及びキーパッドである。センサーユニット５１４は、装置５００又は装置５００の１つのユニットの位置の変化、ユーザによる装置５００への接触の有無、装置５００の方向又は加速/減速、装置５００の温度変化などを検出することができる。センサーユニット５１４は、何れの物理的な接触もない場合に付近の物体を検出するように配置される近接センサーを有してもよい。センサーユニット５１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。幾つかの実施例では、当該センサーユニット５１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【００８０】
通信ユニット５１６は、装置５００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置５００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。一例示的な実施例では、通信ユニット５１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。一例示的な実施例では、前記通信ユニット５１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術によって実現されてもよい。
【００８１】
例示的な実施例では、装置５００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサー（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサー、又は他の電子機器によって実現されてもよい。
【００８２】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ５０４をさらに提供する。前記命令は、装置５００のプロセッサー５２０により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリ等であってもよい。
【００８３】
非一時的コンピュータ読み取り可能な記録媒体は、前記記録媒体における命令がモバイル端末のプロセッサーにより実行されると、モバイル端末が集音方法を実行するようにし、前記方法は、
Ｍ個の集音装置により収集されたＭ個の時間領域信号をＭ個の元の周波数領域信号に変換するステップと、
Ｎ個の予定の格子点のそれぞれで、Ｍ個の元の周波数領域信号をビームフォーミングして、Ｎ個の予定の格子点に１対１で対応するＮ個のビームフォーミング周波数領域信号が得られるステップと、
Ｎ個のビームフォーミング周波数領域信号に基づき、Ｋ個の周波数点のそれぞれに対応するＮ個の周波数成分の平均振幅を決定し、前記Ｋ個の周波数点を含み、且つ各周波数点で前記平均振幅を振幅とする合成周波数領域信号を合成し、各周波数点での前記合成周波数領域信号の位相は、前記Ｍ個の集音装置で指定された基準集音装置の元の周波数領域信号の対応する位相であるステップと、
合成周波数領域信号を合成時間領域信号に変換するステップと、を含み、
ここで、Ｍ、Ｎ、Ｋは２以上の整数である。
【００８４】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明で開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【００８５】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【００８６】
本願は、出願番号が２０１９１０７５４７１７．８であって、出願日が２０１９年８月１５日である中国特許出願に基づき優先権を主張し、当該中国特許出願の内容のすべてを本願に援用する。
【図１】
2022500681.tif 000107
【図２】
2022500681.tif 000108
【図３】
2022500681.tif 000109
【図４】
2022500681.tif 000110
【図５】
2022500681.tif 000111
【国際調査報告】
2022500681.tif 000112
2022500681.tif 000113
2022500681.tif 000114
2022500681.tif 000115