(57)【特許請求の範囲】
【請求項１】
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップと、
位置決めされた各音源から所定音源を選別するステップと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、
前記所定音源の発した音声信号に対し、音量を最適化するステップと
を含み、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップの前に、
前記端末中の姿勢センサにより、前記端末の姿勢を取得するステップと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと、をさらに含み、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含み、
前記端末の姿勢には前記端末における正面と水平面の間の夾角が含まれ、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
を含む
ことを特徴とする音声信号の最適化方法。
【請求項２】
前記所定音源の発した音声信号に対し、音量を最適化するステップは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するステップと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるステップと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるステップと
を含むことを特徴とする請求項１に記載の音声信号の最適化方法。
【請求項３】
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するステップと
を含むことを特徴とする請求項１に記載の音声信号の最適化方法。
【請求項４】
位置決めされた各音源から所定音源を選別するステップは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するステップを含むことを特徴とする請求項１に記載の音声信号の最適化方法。
【請求項５】
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うための位置決めモジュールと、
位置決めされた各音源から所定音源を選別するための選別モジュールと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するための音声信号決定モジュールと、
前記所定音源の発した音声信号に対し、音量を最適化するための最適化モジュールと
を含み、
前記音声信号決定モジュールが、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するための姿勢取得モジュールと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償モジュールと、をさらに含み、
前記音声信号決定モジュールは、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定し、
前記補償モジュールは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するための数値確定サブモジュールと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償サブモジュールと、を含み、
前記端末の姿勢には、前記端末における正面と水平面の間の夾角が含まれる
ことを特徴とする音声信号の最適化装置。
【請求項６】
前記最適化モジュールは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するための比較サブモジュールと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるための低下サブモジュールと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるための増加サブモジュールと
を含むことを特徴とする請求項５に記載の音声信号の最適化装置。
【請求項７】
前記位置決めモジュールは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するための取得サブモジュールと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するための位置決めサブモジュールと
を含むことを特徴とする請求項５に記載の音声信号の最適化装置。
【請求項８】
前記選別モジュールは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別することを特徴とする請求項５に記載の音声信号の最適化装置。
【請求項９】
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源について位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定して、前記所定音源の発した音声信号に対し、音量を最適化し、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、
前記端末中の姿勢センサにより、前記端末の姿勢を取得し、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行い、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含む
ように構成されたプロセッサと、
前記プロセッサの実行可能なインストラクションを記憶するためのメモリと
を含み、
前記端末の姿勢には前記端末における正面と水平面の間の夾角が含まれ、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
を含む
ことを特徴とする音声信号の最適化装置。
【請求項１０】
プロセッサにより実行されることにより、請求項１乃至４のいずれか１項に記載の音声信号の最適化方法を実現することを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、音声信号処理の技術分野に関し、特に音声信号の最適化方法及びその装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
通信・電子技術の絶間ない発展に伴い、スマートホン、タブレットＰＣ、電子書籍リーダー及びＩＣレコーダー等の、音声通話又は録音機能を支える端末は、人々にとって生活に欠かせない道具となり、日常生活に多大な利便性をもたらしている。
【０００３】
このような端末の一つの応用方式として、複数のユーザが録音機能を支える同一端末を利用して会議中の録音を行い、又は複数のユーザが音声通話を支える同一端末を利用してその他の遠隔ユーザと電話会議を行うことが考えられる。端末は録音した音声信号を記憶し、又はそれを音声通話を行う遠隔ユーザに送信する。
【発明の概要】
【０００４】
本発明は音声信号の最適化方法及びその装置、プログラム、及び記録媒体を提供する。その技術案は下記の通りである。
【０００５】
第１の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられる音声信号の最適化方法であり、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源を位置決めするステップと、
位置決めで確定された各音源から所定音源を選別するステップと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップと、
前記所定音源の発した音声信号に対し、音量を最適化するステップと
を含む音声信号の最適化方法を提供する。
【０００６】
前記所定音源の発した音声信号に対し、音量を最適化するステップは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するステップと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるステップと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるステップと
を含んでもよい。
【０００７】
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するステップと、
を含んでもよい。
【０００８】
位置決めされた各音源から所定音源を選別するステップは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するステップを含んでもよい。
【０００９】
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップの前には、
前記端末中の姿勢センサにより、前記端末の姿勢を取得するステップと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するステップは、
利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するステップを含んでもよい。
【００１０】
前記端末の姿勢には端末における正面と水平面の間の夾角が含まれ、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うステップは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
【００１１】
第２の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対し位置決めを行うための位置決めモジュールと、
位置決めされた各音源から所定音源を選別するための選別モジュールと、
位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するための音声信号決定モジュールと、
前記所定音源の発した音声信号に対し、音量を最適化するための最適化モジュールと
を含む音声信号の最適化装置を提供する。
【００１２】
前記最適化モジュールは、
前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するための比較サブモジュールと、
前記所定音源が発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源が発した音声信号の強度を前記第１強度閾値まで低下させるための低下サブモジュールと、
前記所定音源が発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源が発した音声信号の強度を前記第２強度閾値まで増加させるための増加サブモジュールと
を含んでもよい。
【００１３】
前記位置決めモジュールは、
一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するための取得サブモジュールと、
前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するための位置決めサブモジュールと
を含んでもよい。
【００１４】
前記選別モジュールは、
前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するための選別モジュールであってもよい。
【００１５】
前記音声信号の最適化装置は、
前記音声信号決定モジュールが、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するための姿勢取得モジュールと、
前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償モジュールと、をさらに含み、
前記音声信号決定モジュールは、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定してもよい。
【００１６】
前記補償モジュールは、
前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するための数値確定サブモジュールと、
前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うための補償サブモジュールとを含み、
前記端末の姿勢には、前記端末における正面と水平面の間の夾角が含まれてもよい。
【００１７】
第３の局面によれば、
少なくとも二つの音声収集ユニットを有する端末に用いられ、
前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源について位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定して、前記所定音源の発した音声信号に対し、音量を最適化するように設置されたプロッセサと、
プロッセサの実行可能なインストラクションを記憶するためのメモリと
を含む音声信号の最適化装置を提供する。
第４の局面によれば、
プロセッサにより実行されることにより、本発明の第１の局面による音声信号の最適化方法を実現するプログラムを提供する。
第５の局面によれば、
本発明の第４の局面によるプログラムが記録される記録媒体を提供する。
【００１８】
本発明の実施例係る技術案によれば、以下のような有益な効果が得られる。
【００１９】
少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めで確定された各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対し音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
【００２０】
以上の一般的な説明と以下のような細部的な説明は、例示的なものであって、本発明に対する限定として理解してはいけない。
【図面の簡単な説明】
【００２１】
以下の図面は、明細書に組み込まれて本願明細書の一部分となり、本願発明に合致する実施例を示し、且つ明細書とともに、本発明の原理を説明するために用いられる。
【図１】図１は、例示的な一実施例により示される音声信号の最適化方法のフローチャートである。
【図２】図２は、例示的な他の一実施例により示される音声信号の最適化方法のフローチャートである。
【図３】図３は、例示的な他の一実施例により示される位置決め方法のフローチャートである。
【図４】図４は、例示的な他の一実施例により示される利得補償方法のフローチャートである。
【図５】図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。
【図６】図６は、例示的な他の一実施例により示される音声信号の最適化装置のブロック図である。
【図７】図７は、例示的な一実施例により示される装置のブロック図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、例示的な実施例について詳細に説明し、その例示的な実施例を図面に示すことにする。以下の図面に関する説明において、別途の説明がない限り、異なる図面中の同一の符号は、同一又は類似する要素を示すこととする。以下の例示的実施例において説明する複数の実施形態は、本発明に係る全ての実施形態を代表するわけではない。逆に、それらは、添付の特許請求の範囲に記載される本発明の一部の態様を示す装置及び方法の例に過ぎない。
【００２３】
図１は例示的な一実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用できる。当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図１に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
【００２４】
ステップ１０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
【００２５】
ステップ１０４において、位置決めされた各音源から所定音源を選別する。
【００２６】
ステップ１０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
【００２７】
ステップ１０８において、当該所定音源が発した音声信号に対して、音量を最適化する。
【００２８】
収集された当該所定音源の発した音声信号に対し、音量を最適化するステップは、
当該所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較するステップと、
当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させるステップと、
当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させるステップと
を含んでもよい。
【００２９】
当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対し位置決めを行うステップは、
一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するステップと、
当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定するステップと
を含んでもよい。
【００３０】
位置決めされた各音源から所定音源を選別するステップは、
当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、当該各音源から所定音源を選別するステップを含んでもよい。
【００３１】
端末が収集した音声信号から所定音源の発した音声信号を決定するステップの前には、
当該端末中の姿勢センサにより、当該端末の姿勢を取得するステップと、
当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップとをさらに含み、
端末が収集した音声信号から所定音源の発した音声信号を決定するステップは、利得補償を行った後の音声信号の中から当該所定音源の発した音声信号を決定するステップを含んでもよい。
【００３２】
当該端末の姿勢には当該端末における正面と水平面の間の夾角が含まれ、当該端末の姿勢に基づき、当該端末が収集した音声信号に対して利得補償を行うステップは、
当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するステップと、
当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行うステップと
を含んでもよい。
【００３３】
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより、端末の周辺の音源に対して位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源の発した音声信号を決定し、当該所定音源の発した音声信号に対して、音量を最適化し、端末が音声信号を収集する時、周囲の音源を選別して、且つ選別された音源の発した音声信号を最適化することにより、端末の音声信号に対する収集効果を向上させる。
【００３４】
図２は例示的な他の一つの実施例により示される音声信号の最適化方法のフローチャートである。当該音声信号の最適化方法は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末は、スマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよい。図２に示すように、当該音声信号の最適化方法は以下のステップを含んでもよい。
【００３５】
ステップ２０２において、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行う。
【００３６】
図３に示す位置決め方法のフローチャートのように、前述のように当該少なくとも二つの音声収集ユニットにより、当該端末の周辺の音源に対して位置決めを行うステップは、以下のようになってもよい。
【００３７】
ステップ２０２ａにおいて、一つの音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差を取得する。
【００３８】
ここで、端末に含まれた少なくとも二つの音声収集ユニットは一つの音声収集ユニットアレイを構成し、音源から当該音声収集ユニットアレイ中の各音声収集ユニットまでの距離と方向は異なっているため、当該音源から発した音が各音声収集ユニットに伝達される時間と位相も異なっている。端末は当該音声収集ユニットアレイ中の各音声収集ユニットが収集した同一つの音源から発した音の時間差と位相差を取得できる。
【００３９】
ステップ２０２ｂにおいて、当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、当該端末に対する当該音源の空間位置を決定する。
【００４０】
端末はビームフォーミング技術を利用して音源の位置を特定でき、例えば、端末は当該音源から発した音声信号が当該少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、遅延和法又は固有値分解等のアルゴリズムで音源の端末に対する位置を識別できる。
【００４１】
端末は、ビームフォーミング技術を利用して、固定の音源の空間位置を正確に決定できるだけではなく、移動中の音源を追跡して、移動中の音源から発する信号に対して持続的に最適化処理を行うこともできる。
【００４２】
ステップ２０４において、当該各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、当該各音源から所定音源を選別する。
【００４３】
端末は通話又は録音状態において、通常、ユーザが話している時に発した音声信号だけが有効な音声信号であり、その他の音声信号の多くは騒音である。本発明の実施例により示された技術案によれば、端末は各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づいて、各音源からユーザである可能性が最も高い音源を選別して、その後、選別したユーザである可能性が最も高い音源だけに対し最適化を行う。
【００４４】
例えば、端末は音声信号の異なる強度について異なる重みを設定でき、且つ音声信号の異なる持続時間についても異なる重みを設定できる。端末が一つの音源から発した音声信号を受信した後、その音声の強度に対応する重みと、持続時間に対応する重みをそれぞれ決定して重み付けを行い、且つ各音源に対して対応する重みに従ってランキングをつけ、重みが最も高い所定音源を決定する。
【００４５】
音声信号の異なる強度について異なる重みを設定する場合、人の話す音声に最も近い音声の強度に対して比較的高い重みを設定してもよい。人の話す音声の強度との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、普段、人が話す正常な音声強度は約４０デシベルであるため、４０デシベルに対して最も高い重みを設定でき、音声強度が４０デシベルから離れれば離れるほど、その重みが低い。
【００４６】
同様に、音声信号の持続時間について異なる重みを設定する場合、人の話すことに最も近い時の音声信号の持続時間について、比較的高い重みを設定してもよい。人が話す時の音声信号の持続時間との差値が大きければ大きいほど、それに応じて設定される重みが低い。例えば、人が話す時、一言の正常な持続時間が２ｓだとする場合、２ｓの持続時間に対して最も高い重みを設定でき、持続時間が２ｓとの差が大きければ大きいほど、その重みが低い。
【００４７】
録音又は通話するとき、一般的に、同時に一人又は二人のユーザだけが話していて、過多な音源に対して不必要な最適化処理を行うことを避け、最適化の過程の複雑さを低下するために、同時に選別する所定音源の数を設定できる。例えば、多くても同一時間に３つの所定音源を選別して、その後、当該同一時間に多くても３つの音源から発した音声信号だけに対して、最適化を行う。
【００４８】
ステップ２０６において、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定する。
【００４９】
端末は受信した音声信号を処理する時、所定音源の空間位置に基づき、当該所定音源が発した音声信号だけについて処理を行ってもよい。
【００５０】
ステップ２０８において、所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び当該第１強度閾値以下の第２強度閾値と比較する。
【００５１】
ステップ２１０において、当該所定音源が発した音声信号の強度が当該第１強度閾値より大きい場合、当該所定音源が発した音声信号の強度を当該第１強度閾値まで低下させる。
【００５２】
ステップ２１２において、当該所定音源が発した音声信号の強度が当該第２強度閾値より小さい場合、当該所定音源が発した音声信号の強度を当該第２強度閾値まで増加させる。
【００５３】
当該所定音源が発した音声信号の強度が当該第１強度閾値以上で、且つ当該第２強度閾値以下である場合、所定音源が発した音声信号の強度に対して処理しなくてもよい。
【００５４】
端末は人が普通に話す時の音声信号強度により、第１強度閾値と第２強度閾値を設定でき、所定音源の音声信号強度が比較的大きい場合、当該所定音源の音声信号の強度を低下し、所定音源の音声信号強度が比較的小さい場合、当該所定音源の音声信号の強度を増加し、所定音源の音声信号強度が適度である場合、所定音源の音声信号の強度に対して処理しない。ユーザである可能性のある所定音源が発した音声信号の強度を、高すぎなく、低すぎなくさせるように、所定の範囲内に保持させることにより、録音又は通話の効果を最適化する。
【００５５】
例えば、ユーザＡとユーザＢが、スマートホンで遠隔会議を行うか、又は携帯電話で会議録音を行う場合を例とする。スマートホンを制御して録音状態又は通話状態に進入する場合、スマートホンを会議録音モードに切り替え、この時、スマートホンが少なくとも二つのマイクにより周囲の音声を収集して、且つ各音源の位置を決定する。ユーザＡ又はユーザＢが発言する時、スマートホンが話者を所定音源として選別し、且つ、当該話者が話す時に発した音声信号を最適化する。当該話者が話す時に発した音声信号強度が３０デシベルより小さい場合、当該話者が話す時に発した音声信号の強度を３０デシベルに増加し、当該話者が話す時に発した音声信号強度が５０デシベルより大きい場合、当該話者が話す時に発した音声信号強度を５０デシベルまで低下し、３０デシベル乃至５０デシベルまでの音声信号に対しては如何なる処理もしない。これにより、スマートホンと距離が異なる各ユーザの、録音、又は遠隔端末により聴取された話の音量が、全て適度の範囲内にあるように確保でき、録音効果又は電話会議時の通話効果を確保できる。
【００５６】
要するに、本発明の実施例において提供された音声信号の最適化方法によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定された二つの強度閾値の間にあるように調整して、端末が収集した所定音源から発した音声信号の強度を適切な範囲内にあるように調整することで、端末の録音又は通話時の音声信号に対する収集効果を向上させる。
【００５７】
その他の選択可能な実施例として、上述の図２に示す実施例のステップ２０６を実行する前に、図４に示す利得補償方法のフローチャートにおけるステップ２０５ａ〜ステップ２０５ｃをさらに実行してもよい。
【００５８】
ステップ２０５ａにおいて、当該端末中の姿勢センサにより、当該端末における正面と水平面の間の夾角を含む当該端末の姿勢を取得する。
【００５９】
通常の場合、録音又は電話会議を行う時、端末はテーブルの上に正面を上にして水平に放置されるが、端末の姿勢が水平になっていない場合もある。例えば、端末が本又はその他の物体の上にかけられる場合、その正面は水平状態ではなく、この時、端末の正面と水平面の間は一定の夾角を呈し、端末が収集した音声信号は、理想的な状態における音声信号と一定を偏差が存在し、端末の正面が水平状態にある場合に収集した音声信号と比べて小さくなる。
【００６０】
これに対して、端末が収集した音声信号から所定音源が発した音声信号を決定する前、且つ最適化処理を行う前に、まず、現下の姿勢により収集した音声信号に対して若干の補償を行ってもよい。
【００６１】
ステップ２０５ｂにおいて、当該端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定する。
【００６２】
端末における正面と水平面の間の夾角が大きいほど大きければ、端末が収集した音声信号は理想的な状態（即ち、端末の正面が水平状態にある）での音声信号との偏差が大きい。従って、端末は端末における正面と水平面の間の夾角に基づいて、予めにアルゴリズムを設定することで補償数値を算出し、又は予めに記憶された対応関係に基づき補償数値を照会できる。
【００６３】
ステップ２０５ｃにおいて、当該補償数値に基づき、当該端末が収集した音声信号に対して利得補償を行う。
【００６４】
端末は補償数値を決定した後、収集したすべての音声信号に対して利得補償を行う。
【００６５】
ここで、端末は該端末が収集した音声信号から当該所定音源が発した音声信号を決定した場合、利得補償した後の音声信号の中から、当該所定音源が発した音声信号を確定できる。
【００６６】
要するに、本発明の実施例において提供された方法によれば、収集した音声信号から所定音源の音声信号を決定し、且つ最適化を行う前に、端末の姿勢を取得して、端末の姿勢に基づいて端末が収集した音声信号に対して利得補償を行うことにより、端末は録音又は通話する時、音声信号に対する収集効果をさらに向上できる。
【００６７】
以下は、本発明に係る装置の実施例であり、本発明に係る方法の実施例を実行するために用いられる。本発明に係る装置の実施例により開示されてない細部的な内容に関しては、本発明に係る方法の実施例を参考することにする。
【００６８】
図５は、例示的な一実施例により示される音声信号の最適化装置のブロック図である。当該音声信号の最適化装置は、少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末はスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１乃至図４までのいずれかに示す方法を実行する。図５に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
【００６９】
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより、前記端末の周辺の音源に対して位置決めするために用いられるように構成される。
【００７０】
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
【００７１】
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
【００７２】
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
【００７３】
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、当該所定音源が発した音声信号に対して、音量を最適化して、端末が音声信号を収集する時、周囲の音源について選別を行い、且つ、選別した音源から発した音声信号に対して最適化を行うことにより、端末が音声信号に対する収集効果を向上させる。
【００７４】
図６は例示的な一実施例により示される音声信号の最適化装置的ブロック図である。当該音声信号の最適化装置は少なくとも二つの音声収集ユニットを有する端末に利用でき、当該端末がスマートホン、タブレットＰＣ、電子書籍リーダー及びスマートレコーダー等の、音声通話又は録音機能を支えるスマート端末であってもよく、図１〜図４のいずれかに示す方法を実行する。図６に示すように、当該音声信号の最適化装置は、位置決めモジュール５０１、選別モジュール５０２、音声信号決定モジュール５０３及び最適化モジュール５０４を含むが、これらに限定されない。
【００７５】
前記位置決めモジュール５０１は、前記少なくとも二つの音声収集ユニットにより前記端末の周辺の音源に対して位置決めを行うために用いられるように構成される。
【００７６】
前記選別モジュール５０２は、位置決めされた各音源から所定音源を選別するために用いられるように構成される。
【００７７】
前記音声信号決定モジュール５０３は、位置決めにより取得された前記所定音源の空間位置に基づき、前記端末が収集した音声信号から前記所定音源の発した音声信号を決定するために用いられるように構成される。
【００７８】
前記最適化モジュール５０４は、前記所定音源の発した音声信号に対し、音量を最適化するために用いられるように構成される。
【００７９】
前記最適化モジュール５０４は、比較サブモジュール５０４ａ、低下サブモジュール５０４ｂ及び増加サブモジュール５０４ｃを含んでもよい。
【００８０】
前記比較サブモジュール５０４ａは、前記所定音源が発した音声信号の強度を、予め設定した第１強度閾値及び前記第１強度閾値以下の第２強度閾値と比較するために用いられるように構成される。
【００８１】
前記低下サブモジュール５０４ｂは、前記所定音源の発した音声信号の強度が前記第１強度閾値より大きい場合、前記所定音源の発した音声信号の強度を前記第１強度閾値まで低下させるために用いられるように構成される。
【００８２】
前記増加サブモジュール５０４ｃは、前記所定音源の発した音声信号の強度が前記第２強度閾値より小さい場合、前記所定音源の発した音声信号の強度を前記第２強度閾値まで増加させるために用いられるように構成される。
【００８３】
前記位置決めモジュール５０１は、取得サブモジュール５０１ａ及び位置決めサブモジュール５０１ｂを含んでもよい。
【００８４】
前記取得サブモジュール５０１ａは、一つの音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差を取得するために用いられるように構成される。
【００８５】
前記位置決めサブモジュール５０１ｂは、前記音源から発した音声信号が前記少なくとも二つの音声収集ユニットに達した時間差と位相差に基づき、前記端末に対する前記音源の空間位置を決定するために用いられるように構成される。
【００８６】
前記選別モジュール５０２は、前記各音源の音声信号の強度及び音声信号又はいずれか一方の連続性に基づき、前記各音源から前記所定音源を選別するために用いられるように設置されてもよい。
【００８７】
前記装置は、姿勢取得モジュール５０５と補償モジュール５０６をさらに含んでもよい。
【００８８】
前記姿勢取得モジュール５０５は、前記音声信号決定モジュール５０３が前記端末が収集した音声信号から前記所定音源の発した音声信号を決定する前に、前記端末中の姿勢センサにより、前記端末の姿勢を取得するために用いられるように構成される。
【００８９】
前記補償モジュール５０６は、前記端末の姿勢に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
【００９０】
前記音声信号決定モジュール５０３は、利得補償を行った後の音声信号の中から前記所定音源の発した音声信号を決定するために用いられるように構成される。
【００９１】
前記補償モジュール５０６は、数値確定サブモジュール５０６ａ及び補償サブモジュール５０６ｂを含んでもよい。
【００９２】
前記数値確定サブモジュール５０６ａは、前記端末における正面と水平面の間の夾角に基づいて、当該夾角に正比例する補償数値を決定するために用いられる。
【００９３】
前記補償サブモジュール５０６ｂは、前記補償数値に基づき、前記端末が収集した音声信号に対して利得補償を行うために用いられるように構成される。
【００９４】
ここで、前記端末の姿勢は、前記端末における正面と水平面の間の夾角を含む。
【００９５】
要するに、本発明の実施例において提供された音声信号の最適化装置によれば、少なくとも二つの音声収集ユニットにより端末の周辺の音源に対し位置決めを行い、位置決めされた各音源から所定音源を選別して、位置決めにより取得された当該所定音源の空間位置に基づき、当該端末が収集した音声信号から当該所定音源が発した音声信号を決定し、且つ当該所定音源が発した音声信号の強度を予め設定した二つの強度閾値の間に調整し、端末が収集した所定音源の発した音声信号の強度を適切な範囲内に調整することにより、端末が録音又は通話する時、音声信号に対する収集効果を向上させる。
【００９６】
このほか、本発明の実施例において提供された装置は、収集した音声信号から所定音源の音声信号を決定して且つ最適化する前、端末の姿勢を取得し、端末の姿勢に基づき端末が収集した音声信号に対して利得補償を行うことにより、端末が録音又は通話する時、音声信号に対する収集効果をさらに向上させる。
【００９７】
図７は例示的な一つの実施例により示される装置７００のブロック図である。なお、当該装置には少なくとも二つの音声収集ユニットを含む。例えば、装置７００は移動電話、コンピュータ、デジタル放送端末、送受信機器、ルータ機器、ゲームコンソール、タブレット型デバイス、医療機器、健身機器、ＰＤＡ等であってもよい。
【００９８】
図７に示すように、装置７００は処理アセンブリ７０２、メモリ７０４、電源アセンブリ７０６、マルチメディアアセンブリ７０８、オーディオアセンブリ７１０、入力／出力（Ｉ／Ｏ）インターフェース７１２、センサアセンブリ７１４、及び通信アセンブリ７１６から選ばれた一種又は複数種のアセンブリを含んでもよい。
【００９９】
処理アセンブリ７０２は、通常、装置７００の操作全体を制御し、例えば、表示、電話呼出し、データ通信、カメラ操作と記録操作に関連する操作を制御する。処理アセンブリ７０２は、上述の方法におけるステップの全部又は一部を完成するように、一個又は複数個のプロッセサ７１８を含んでインストラクションを実行してもよい。このほか、処理アセンブリ７０２は、アセンブリ７０２とその他のアセンブリ間のインタラクションを処理するために、一個又は複数個のモジュールを含んでもよい。例えば、処理アセンブリ７０２は、マルチメディアアセンブリ７０８と処理アセンブリ７０２間のインタラクションに便宜を与えるために、マルチメディアモジュールを含んでもよい。
【０１００】
メモリ７０４は、各種類のデータを記憶して装置７００における操作を支えるように配置される。これらのデータの例示として、装置７００において操作されるいかなるアプリケーションプログラム或は方法に関わるインストラクション、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等が挙げられる。メモリ７０４は揮発性或は非揮発性記憶機器又はそれらの組合せで実現でき、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去書込み可能な読出し専用メモリ（ＥＥＰＲＯＭ）、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、書込み可能読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク或は光ディスクが挙げられる。メモリ７０４には、一個或は複数個のモジュールをさらに搭載してあり、当該一個或は複数個のモジュールが、上述の図１〜図４のいずれかに示した方法におけるステップの全部或は一部を完成するために、当該一個或は複数個のプロッセサ７１８により実行されるように配置される。
【０１０１】
電源アセンブリ７０６は、装置７００の各種類のアセンブリに電力を提供する。電源アセンブリ７０６は、電源管理システム、一個或は複数個の電源、及び装置７００のために電力の生成、管理と配分に関わるその他のアセンブリを含んでもよい。
【０１０２】
マルチメディアアセンブリ７０８は、前記装置７００とユーザの間にあり、出力インターフェースを一つ提供するスクリーンを含む。実施例には、スクリーンは液晶表示器（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンにはタッチパネルを含む場合、スクリーンがタッチパネルとして実現されてもよく、ユーザからの入力信号を受信する。タッチパネルは、タッチ、滑り及びタッチパネルの上にある手振りを感知するために、一個或は複数個のタッチセンサを含む。前記タッチセンサは、タッチ或は滑りの動作の境界を感知できるほか、前記タッチ或は滑りの操作に関わる持続時間と圧力も検出できる。実施例には、マルチメディアアセンブリ７０８がフロントカメラ及びはリアカメラ又はいずれか一方を一つ含んでもよい。装置７００は操作モードにある時、例えば、撮影モード或はビデオモードにある時、フロントカメラ及びリアカメラ又はいずれか一方が外部のマルチメディアデータを受信できる。フロントカメラとリアカメラ毎は、固定した一つのレンズ光学系であってもよく、或は焦点距離と焦点距離可変の機能を有してもよい。
【０１０３】
オーディオアセンブリ７１０は、オーディオ信号を出力及び入力又はいずれか一方をするように配置される。例えば、オーディオアセンブリ７１０は、一つのマイク（ＭＩＣ）を含有し、装置７００が操作モード（例えば、呼出しモード、記録モードと音声識別モード）にある場合、マイクが外部のオーディオ信号を受信するように配置される。受信されたオーディオ信号が、さらにメモリ７０４に記憶してもよく、或は通信アセンブリ７１６により送信されてもよい。実施例には、オーディオアセンブリ７１０は、オーディオ信号を出力することに用いられる一つの拡声器をさらに含んでもよい。
【０１０４】
Ｉ／Ｏインターフェース７１２は、処理アセンブリ７０２と外部インタフェースモジュールの間にインターフェースを提供し、上述の外部インタフェースモジュールがキーボード、クリックホイール、ボタン等であってもよい。前述のボタンは、ホームボタン、音量ボタン、起動ボタン及び施錠ボタンを含むが、これらに限定されない。
【０１０５】
センサアセンブリ７１４は、一個或は複数個のセンサを含み、装置７００のために各方面の状態の評価を提供する。例えば、センサアセンブリ７１４は、装置７００のオン・オフ状態を検出し、装置７００の表示器とキーパッドのようなアセンブリに対する位置を特定でき、センサアセンブリ７１４が、装置７００或は装置７００における一つのアセンブリの位置の変動、ユーザと装置７００との接触が存在するか否か、装置７００の方位或は加速・減速、及び装置７００の温度の変化も検出できる。センサアセンブリ７１４は、いかなる物理的接触もされていない場合、付近の物体の存在を検出するように構成される近接センサを含んでもよい。センサアセンブリ７１４は、光センサをさらに含んでもよく、例えば、イメージングアプリケーションに利用されるＣＭＯＳ或はＣＣＤイメージセンサが挙げられる。実施例には、当該センサアセンブリ７１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ或は温度センサをさらに含んでもよい。
【０１０６】
通信アセンブリ７１６は、装置７００とその他の機器の間に行う有線或は無線方式の通信に対して便宜を与えるように配置される。装置７００は、通信規格を基準とする無線ネットワークに接続でき、無線ネットワークとして、例えば、ＷｉＦｉ（登録商標）、２Ｇ或は３Ｇ、又はそれらの組み合わせが挙げられる。例示的な一つの実施例には、通信アセンブリ７１６は、放送チャネルを通じて、外部の放送管理システムからの放送信号、或は放送に関連する情報を受信する。例示的な一つの実施例には、前記通信アセンブリ７１６は、近距離通信を促進する近距離無線通信（ＮＦＣ）モジュールをさらに含む。ＮＦＣモジュールは、例えば、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域幅（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術とその他の技術により実現できる。
【０１０７】
例示的な実施例には、装置７００は、一個或は複数個の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロッセサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントロール、マイクロコントロール、マイクロプロッセサ或はその他の電子素子により実現されることができ、上述の方法を実行するために用いられる。
【０１０８】
例示的な実施例には、インストラクションを記憶した非一時的コンピュータ可読記憶媒体をさらに提供しており、例えば、インストラクションを記憶したメモリ７０４が挙げられ、上述のインストラクションが装置７００のプロッセサ７１８により実行されて、上述の方法を完成する。例えば、前記非一時的コンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ（登録商標）、テープ、フロッピイディスク（登録商標）と光データ記憶メディア等であってもよい。
【０１０９】
上述の実施例に係る装置において、各モジュールにより実行される操作の具体的な方法については、既に、当該方法の実施例において詳細に説明されているため、ここでは、その詳細な説明を省略するようにする。
【０１１０】
本発明は、以上の記載および図面により示される正確な構造に限られることはなく、その範囲を逸脱しない限り様々な修正や変更が可能であることと、理解すべきである。本発明の範囲は、添付する特許請求の範囲のみにより限定される。
【０１１１】
本願は、出願番号がＣＮ２０１５１０２２６８４４．２であり、出願日が２０１５年５月６日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
【図１】
0006314286.tif 000002
【図２】
0006314286.tif 000003
【図３】
0006314286.tif 000004
【図４】
0006314286.tif 000005
【図５】
0006314286.tif 000006
【図６】
0006314286.tif 000007
【図７】
0006314286.tif 000008