(57)【要約】【課題】音声を認識するための方法および装置を提供すること。【解決手段】入力オーディオ信号を少なくとも2つの分離後信号に分離すること、現フレームでの雑音除去後信号を生成すること、現フレームでのそれぞれの関心を引く信号に関する予備的認識を実施すること、および現フレームでのそれぞれの関心を引く信号の認識スコアに従って認識決定を実施することを含む音声を認識するための方法および装置が開示される。本開示の方法および装置は、アレイ信号処理および音声認識を深く統合し、低い信号対雑音比のケースであっても良好な認識率が得られるようなマルチウェイ認識を使用する。【選択図】図1
2020013129.tif 000002
【特許請求の範囲】
【請求項１】
音声を認識するための方法であって、
入力オーディオ信号を少なくとも2つの分離後信号に分離するステップと、
現フレームでの前記オーディオ信号の前記少なくとも2つの分離後信号から選択された1次分離後信号と1つまたは複数の2次分離後信号とに基づいて、前記現フレームでの雑音除去後信号を生成するステップと、
前記現フレームでの複数の関心を引く信号のそれぞれに関する予備的認識を実施するステップであって、前記現フレームでの前記複数の関心を引く信号が、前記現フレームでの前記少なくとも2つの分離後信号および前記雑音除去後信号を含み、前記現フレームでの前記複数の関心を引く信号のそれぞれが、前記現フレームでの前記予備的認識の結果に関連する前記現フレームでの認識スコアを有する、ステップと、
前記現フレームでの前記複数の関心を引く信号のそれぞれの前記認識スコアに従って認識決定を実施するステップと
を含む方法。
【請求項２】
前記現フレームにおいて選択された前記1次分離後信号が、前記オーディオ信号の先行フレームでの前記少なくとも2つの分離後信号内の任意の他の分離後信号の前記認識スコア以上である前記先行フレームでの認識スコアを有する請求項1に記載の方法。
【請求項３】
前記予備的認識が、
前記現フレームでの前記複数の関心を引く信号のそれぞれの音響スコアを決定するステップと、
前記現フレームでの前記複数の関心を引く信号のそれぞれの前記音響スコアに基づいて、前記現フレームでの前記複数の関心を引く信号のそれぞれを復号化するステップと
を含む請求項1に記載の方法。
【請求項４】
前記予備的認識が、
1つまたは複数の所定のワードを含む所定の文に合致する前記現フレームでの前記複数の関心を引く信号のそれぞれの前記復号化結果の信頼レベルを決定するステップであって、前記現フレームでの前記複数の関心を引く信号のそれぞれの前記認識スコアが、現フレームにおいて決定された前記信頼レベルに依存する、ステップ、または
前記現フレームでの前記複数の関心を引く信号のそれぞれの前記復号化結果に対して自然言語処理を実施するステップであって、前記現フレームでの前記複数の関心を引く信号のそれぞれの前記認識スコアが、前記現フレームでの前記自然言語処理のスコアに依存する、ステップ
をさらに含む請求項3に記載の方法。
【請求項５】
前記認識決定が、
前記現フレームでの前記複数の関心を引く信号内の所定の条件を満たす第1の関心を引く信号の予備的認識の結果を、前記現フレームでの前記オーディオ信号についての前記認識結果として決定するステップ
を含む請求項1に記載の方法。
【請求項６】
前記所定の条件が、
前記現フレームでの前記第1の関心を引く信号の前記認識スコアが、前記現フレームでの前記複数の関心を引く信号のうちのいずれかの他の信号の前記認識スコア以上であること、
前記現フレームでの前記第1の関心を引く信号の前記予備的認識結果に対応する所定のワードヒットタイムが、前記現フレームでの前記複数の関心を引く信号のうちのいずれかの他の信号の前記予備的認識結果に対応するもの以上であること、および
前記現フレームでの前記第1の関心を引く信号の前記認識スコアが、第1のしきい値以上であること
という条件のうちの1つまたは複数を含む請求項5に記載の方法。
【請求項７】
前記現認識決定が、
前記現フレームでの前記オーディオ信号についての前記認識結果を、所定の条件に従ってウェイクアップ動作を実施するための命令として決定するステップ
を含む請求項1に記載の方法。
【請求項８】
前記所定の条件が、
前記現フレームでの前記複数の関心を引く信号が、第1のしきい値以上である前記現フレームでの認識スコアを有する第1の関心を引く信号を含むこと、
前記現フレームでの前記複数の関心を引く信号内の第1の所定の数の関心を引く信号のそれぞれの前記認識スコアが、第2のしきい値以上であること、
前記現フレームでの前記雑音除去後信号の前記認識スコアが第3のしきい値以上であり、前記現フレームでの前記少なくとも2つの分離後信号のそれぞれの前記認識スコアが第4のしきい値以上であること、および
前記現フレームでの前記雑音除去後信号の前記認識スコアが第5のしきい値以上であり、前記現フレームでの前記雑音除去後信号の前記認識スコアと、前記現フレームでの前記少なくとも2つの分離後信号の第1の分離後信号の前記認識スコアとの間の差が第6のしきい値未満であり、前記現フレームでの前記第1の分離後信号の前記認識スコアが、前記現フレームでの前記少なくとも2つの分離後信号の任意の他の分離後信号の前記認識スコア以上であり、第7のしきい値以上であること
という条件のうちの1つまたは複数を含む請求項7に記載の方法。
【請求項９】
少なくとも前記現フレームでのオーディオ信号についての前記認識結果に従って、スピーカの特徴を決定するステップと、
前記スピーカ特徴によってスピーカモデルをトレーニングするステップと
をさらに含む請求項1に記載の方法。
【請求項１０】
前記現フレームの前の少なくとも1つの前フレームの時の前の関心を引く信号を記録するステップであって、対応する前フレームでのそれぞれの前の関心を引く信号の前記予備的認識結果が、前記対応する前フレームでの前記オーディオ信号についての認識結果である、ステップと、前記対応する前フレームでのそれぞれの前の関心を引く信号の前記予備的認識結果に従って前記スピーカ特徴を決定するステップとをさらに含み、
前記スピーカモデルによって決定される、前記前フレームにおいて前記スピーカに関連付けられる前記現フレームにおいて選択された前記1次分離後信号の確率が、前記スピーカモデルによって決定される、前記先行フレームにおいて前記スピーカに関連付けられる前記少なくとも2つの分離後信号のうちの何らかの他の信号の確率以上であり、第1のしきい値以上である請求項9に記載の方法。
【請求項１１】
前記現フレームでの雑音除去後信号を生成する前記ステップが、
前記少なくとも2つの分離後信号のそれぞれを解析して、その周波数スペクトルおよびパワースペクトルを取得するステップと、
前記1次分離後信号の前記パワースペクトルと、前記1つまたは複数の2次分離後信号の前記パワースペクトルとに従って雑音除去因子を決定するステップと、
前記1次分離後信号の前記雑音除去因子および前記周波数スペクトルに従って、前記現フレームでの前記雑音除去後信号を取得するステップと
を含む請求項1に記載の方法。
【請求項１２】
前記雑音除去因子を決定する前記ステップが、
前記1次分離後信号の前記パワースペクトルと、前記1つまたは複数の2次分離後信号の前記パワースペクトルとに従って電力比を決定するステップと、
前記電力比が大きいほど前記雑音除去因子が大きくなるように、前記電力比に従って前記雑音除去因子を決定するステップと
を含む請求項11に記載の方法。
【請求項１３】
入力オーディオ信号を少なくとも2つの分離後信号に分離するように構成されたスプリッタと、
現フレームでの前記オーディオ信号の前記少なくとも2つの分離後信号から選択された1次分離後信号と1つまたは複数の2次分離後信号とに基づいて、前記現フレームでの雑音除去後信号を生成するように構成された信号発生器と、
前記現フレームでの複数の関心を引く信号のそれぞれを予備的に認識するように構成された認識器であって、前記現フレームでの前記複数の関心を引く信号が、前記現フレームでの前記少なくとも2つの分離後信号および前記雑音除去後信号を含み、前記現フレームでの前記複数の関心を引く信号のそれぞれが、前記現フレームでの予備的認識の結果に関連する前記現フレームでの認識スコアを有する認識器と、
前記現フレームでの複数の関心を引く信号のそれぞれの前記認識スコアに従って認識決定を実施するように構成された決定デバイスと
を備える音声を認識するための装置。
【請求項１４】
開始するときに少なくとも請求項1に記載の方法を実施するように構成された1つまたは複数のプロセッサ
を備える音声を認識するための装置。
【請求項１５】
実行されるときに請求項1に記載の方法を実施する、プログラム命令が記憶されたコンピュータ可読不揮発性記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般には音声認識の技術分野に関し、より詳細には、音声を認識するための方法および装置に関する。
【背景技術】
【０００２】
テレビジョン妨害の存在下などの雑音のある環境では、遠距離音場音声認識の認識率が大きく低下し、遠距離音場音声対話が影響を受ける。
【０００３】
マイクロフォンアレイを通じて空間フィルタリングが実施され得、単一チャネル音声が出力され、認識のために音声認識器に送られる。しかしながら、空間フィルタリングは通常、音源局所化に依存し、信号対雑音比が低いケースでは、音源局所化自体の精度が著しく低下する。
【発明の概要】
【課題を解決するための手段】
【０００４】
一態様では、音声を認識するための方法であって、入力オーディオ信号を少なくとも2つの分離後信号に分離すること、オーディオ信号の現フレームでの少なくとも2つの分離後信号から選択された1次分離後信号と1つまたは複数の2次分離後信号とに基づいて、現フレームでの雑音除去後信号を生成すること、現フレームでの複数の関心を引く信号のそれぞれを予備的に認識することであって、現フレームでの複数の関心を引く信号が、現フレームでの少なくとも2つの分離後信号および雑音除去後信号を含み、現フレームでの複数の関心を引く信号のそれぞれが、現フレームでの予備的認識の結果に関連する現フレームでの認識スコアを有すること、ならびに現フレームでの複数の関心を引く信号のそれぞれの認識スコアに従って認識決定を実施することを含む方法が開示される。
【０００５】
別の態様では、実行されるときに前述の方法を実施し得る、プログラム命令が記憶されたコンピュータ可読不揮発性記憶媒体が開示される。
【０００６】
別の態様では、音声を認識するための装置が開示され、装置は1つまたは複数のプロセッサを備え得、1つまたは複数のプロセッサは、実行されるときに前述の方法を実施するように構成される。
【０００７】
別の態様では、音声を認識するための装置が開示され、装置は、入力オーディオ信号を少なくとも2つの分離後信号に分離するように構成されたスプリッタと、現フレームでのオーディオ信号の少なくとも2つの分離後信号から選択された1次分離後信号と1つまたは複数の2次分離後信号とに基づいて、現フレームでの雑音除去後信号を生成するように構成された信号発生器と、現フレームでの複数の関心を引く信号のそれぞれを予備的に認識するように構成された認識器であって、現フレームでの複数の関心を引く信号が、現フレームでの少なくとも2つの分離後信号および雑音除去後信号を含み、現フレームでの複数の関心を引く信号のそれぞれが、現フレームでの予備的認識の結果に関連する現フレームでの認識スコアを有する認識器と、現フレームでの複数の関心を引く信号のそれぞれの認識スコアに従って認識決定を実施するように構成された決定デバイスとを備え得る。
【０００８】
本開示の実施形態による、音声を認識するための方法および装置は、アレイ信号処理および音声認識を深く統合し、非常に低い信号対雑音比のケースであっても良好な認識率が得られるようなマルチウェイ認識を使用する。
【図面の簡単な説明】
【０００９】
【図１】本開示の一実施形態による、音声を認識するための方法の一例を示す図である。
【図２】本開示の一実施形態による、オーディオ信号分離の一例を示す図である。
【図３】本開示の一実施形態による、音声を認識するための方法の別の例を示す図である。
【図４】本開示の一実施形態による、音声を認識するための方法の別の例を示す図である。
【図５】本開示の一実施形態による、音声を認識するための装置の一例を示す図である。
【発明を実施するための形態】
【００１０】
本開示の実施形態による、音声を認識するための方法および装置の例が、図面を参照しながら以下で説明される。
【００１１】
図1に示されるように、本開示の一実施形態による例示的方法100が、ステップS110(オーディオ信号を分離する)、S120(雑音除去後信号を生成する)、S130(予備的に認識する)、およびS140(認識決定を実施する)を含み得る。
【００１２】
ステップS110では、入力オーディオ信号が少なくとも2つの分離後信号に分離され得る。
【００１３】
一実施形態では、外部音声が、マイクロフォンアレイやピックアップ回路などのピックアップを通じてリアルタイムに取得され、たとえば、アナログ-デジタル変換器や変換回路などの変換器を通じてデジタル信号に変換され、したがって入力オーディオ信号が取得され得る。別の実施形態では、入力オーディオ信号が、他の適切なモードを通じて取得され得る。本開示は、入力オーディオ信号を取得するための特定のモードまたは特定の装置に限定されない。
【００１４】
次いで、一実施形態では、入力オーディオ信号が、ブラインドソース分離や独立構成要素解析などの信号分離技術によって少なくとも2つの分離後信号に分離され得る。別の実施形態では、入力オーディオ信号が、たとえばビームフォーミング技術を通じて少なくとも2つの分離後信号に分離され得る。別の実施形態では、入力オーディオ信号が、他の適切な信号分離技術を使用することによって少なくとも2つの分離後信号に分離され得る。
【００１５】
たとえば、図2に示されるように、入力オーディオ信号IN_SIGが分離後信号1、2、...、SIGn(nは2以上の自然数である)に分離され得る。図2は、オーディオ信号および対応する分離後信号の実際の波形ではなく、信号の概略図を示すに過ぎないことを理解されたい。
【００１６】
さらに、図2に示されるように、入力オーディオ信号IN_SIGは1つまたは複数のフレームf0、f1、f2、f3、f4、f5、f6、f7、f8などを含み得る。本開示では、「現フレーム」という用語は、現期間(たとえば、サンプリング信号期間)に対応する信号部分、または現在時刻に処理される信号部分を意味することがある。たとえば、現フレームf3は、f3に対応する期間でのオーディオ信号IN_SIGおよび/または各分離後信号SIGi(1≦i≦n)の信号部分を表し得る。したがって、現フレームf3の前の先行するフレーム(または「先行フレーム」とも呼ばれる)は、時間の点で現フレームf3の直前のフレームf2を表す。現フレームf3の次のフレーム(または「次フレーム」とも呼ばれる)は、時間の点で現フレームf3の直後のフレームf4を表し、現フレームf3の前のフレーム(または「前フレーム」とも呼ばれる)は、時間の点で現フレームf3に先行する1つまたは複数のフレームを表す(前フレームは連続的または不連続であり得る。さらに、前フレームは現フレームf3の直前であり得、または現フレームf3の直前ではないことがある)。
【００１７】
次いで、ステップS120では、オーディオ信号の現フレームでの、ステップS110において分離された少なくとも2つの分離後信号から選択された1次分離後信号と1つまたは複数の2次分離後信号とに基づいて、現フレームでの雑音除去後信号を生成する。
【００１８】
一実施形態では、現フレームでの上記の少なくとも2つの分離後信号から選択された1次分離後信号の先行フレームでの認識スコアが、任意の他の分離後信号の先行フレームでの認識スコア以上であり得る。たとえば、フレームf3でのSIG1からSIGnのうちのSIG2の認識スコアが、SIG1からSIGnの任意の他の分離後信号の認識スコア以上である場合、フレームf4の先頭において、SIG2が、フレームf4での1次分離後信号として選択され得、SIG1からSIGnの任意の他の分離後信号のうちの1つまたは複数が、フレームf4での2次分離後信号として使用され得る。
【００１９】
信号の認識スコアは、たとえば、オーディオ信号IN_SIGまたはオーディオ信号IN_SIGによって表される実際の内容に対する、信号についての認識結果の接近度を表し、認識スコアが高いほど接近度は高い。各フレームでの各分離後信号についての認識スコアは、以下でより詳細に説明される。
【００２０】
次いで、一実施形態では、各分離後信号SIGiが解析され、その周波数スペクトルおよびパワースペクトルが取得され得る。たとえば、各分離後信号SIGiの周波数スペクトルが、適時のフーリエ解析を通じて取得され得、各分離後信号SIGiのパワースペクトルが、各分離後信号SIGiの周波数スペクトルに基づいてさらに取得され得る。
【００２１】
さらに、雑音除去因子または利得が、選択された1次分離後信号のパワースペクトルおよび選択された1つまたは複数の2次分離後信号のパワースペクトルに従って決定され得る。
【００２２】
一実施形態では、電力比がまず決定され得、次いで、1次信号および2次信号の電力比に従って、雑音除去因子または利得が計算または取得され得る。たとえば、電力比は、選択された1次分離後信号のパワースペクトルと、選択された1つまたは複数の2次分離後信号のうちの1つの2次分離後信号のパワースペクトルとに従って取得される電力比であり得る。別の例では、電力比は、選択された1次分離後信号のパワースペクトルと、すべての選択された2次分離後信号の平均パワースペクトルとに従って取得された電力比であり得る。別の例では、電力比は、選択された1次分離後信号のパワースペクトルと、すべての選択された2次分離後信号の複数の2次分離後信号の平均パワースペクトルとに従って取得された電力比であり得る。
【００２３】
一実施形態では、雑音除去因子または利得gは、aが以前に取得された電力比であるとして、たとえばg=a/(1+a)であると決定され得る。別の実施形態では、雑音除去因子または利得gは、電力比に従って他のモードによって決定され得、したがって電力比が大きいほど、雑音除去因子または利得gが大きくなる。
【００２４】
次いで、現フレームでの雑音除去後信号が、雑音除去因子または利得gおよび1次分離後信号の周波数スペクトルに従って取得され得る。一実施形態では、雑音除去因子または利得gに1次分離後信号の周波数スペクトルが乗算され得、合成変換が実施され、現フレームでの雑音除去後信号が取得され得る。別の実施形態では、現フレームでの雑音除去後信号(以下でSIG_DNとマークされる)が、雑音除去因子または利得gおよび1次分離後信号の周波数スペクトルに従って、任意の適切な雑音除去技術を通じて取得され得る。
【００２５】
次いで、現フレームでの少なくとも上記の少なくとも2つの分離後信号SIG1からSIGnおよび雑音除去後信号SIG_DNが、現フレームでの複数の(たとえば、n+1)関心を引く信号として使用され得、ステップS130に進み、現フレームでの複数の関心を引く信号のそれぞれに従って予備的認識を実施し、現フレームでの複数の関心を引く信号のそれぞれが、現フレームでの予備的認識の結果に関連する現フレームでの認識スコアを有する。
【００２６】
一実施形態では、先行フレームでの各分離後信号の認識スコアが、たとえば少なくとも次フレームにおいて使用されるように記録され得る。たとえば、フレームf3において、少なくともこのフレームf3での各分離後信号SIGiの少なくとも対応する認識スコアが記録され得、次いで、フレームf4において、フレームf4での1次分離後信号が、フレームf3において記録された認識スコアに従って、分離後信号SIGiから選択され得、次いで、フレームf4での雑音除去後信号が取得され得る。
【００２７】
ステップS130では、一実施形態では、現フレームでの分離後信号SIG1からSIGnおよび雑音除去後信号SIG_DNを含む複数の関心を引く信号のそれぞれについて、現フレームでの音響スコアが音響モデルによって決定され得る。
【００２８】
異なる実施形態では、音響モデルは、隠れマルコフモデル(HMM)、ディープニューラルネットワーク(DNN)などに基づいて構築された任意の適切な音響モデルSNDであり得る。本開示は、何らかの特定の音響モデルに限定されない。したがって、それぞれの関心を引く信号の音響スコアS_SNDj(たとえば、1≦j≦n+1)がS_SNDj=SND(ISj|θSND)として公式に表現され得、ただしISjは関心を引く信号を表し、たとえば現フレームでの任意の分離後信号SIGiまたは雑音除去後信号SIG_DNであり得、θSNDは、前もってのトレーニングまたはオンライントレーニング後のモデルパラメータなどの音響モデルSNDのモデルパラメータを表す。
【００２９】
次いで、それぞれの関心を引く信号ISjについて、現フレームでの関心を引く信号ISjの音響スコアS_SNDjに従って、関心を引く信号ISjに対して復号化が実施され得る。異なる実施形態によれば、ビタビ復号化や動的プログラミング復号化などの任意の適切な復号化技法を使用することによって復号化が実施され得る。たとえば、1つまたは複数の所定のワードを含み得るコマンドワードについて、ディープラーニングネットワークや隠れマルコフモデルなどの1つまたは複数のコマンドワードモデルが、関心を引く信号ISjを認識し、スコアリングするために使用され得る。
【００３０】
一実施形態では、現フレームでのそれぞれの関心を引く信号ISjを復号化することによって取得される復号化結果が、それぞれの関心を引く信号ISjについての対応する復号化スコアS_DECjを含み、より高い復号化スコアS_DECjは、対応する関心を引く信号ISjの復号化結果が、オーディオ信号IN_SIGのすべての表される実際の意味に近い可能性がより高いことを表し得る。
【００３１】
一実施形態では、ステップS130は、現フレームでの複数の関心を引く信号のそれぞれの復号化結果が1つまたは複数の所定のワードを含む所定の文に合致する信頼レベルを決定することを含み得る。この実施形態では、現フレームでの複数の関心を引く信号のそれぞれの認識スコアが、現フレームにおいて決定された信頼レベルに依存し得る。
【００３２】
たとえば、ウェイクアップワードまたはコマンドワードを認識するケースでは、復号化スコアS_DECjは、現フレームでの対応する関心を引く信号ISjの復号化結果が1つまたは複数の所定のワードを含む所定の文に合致する信頼レベルまたは信頼度に対応し、または基づき得、現フレームでの関心を引く信号ISjの認識スコアS_IDjが、信頼レベルに従って決定され得、たとえば、信頼レベルは、現フレームでの関心を引く信号ISjの認識スコアS_IDjとして使用される。
【００３３】
別の実施形態では、ステップS130は、現フレームでの複数の関心を引く信号のそれぞれの復号化結果に対して自然言語処理を実施することをさらに含み得る。この実施形態では、現フレームでの複数の関心を引く信号のそれぞれの認識スコアは、現フレームでの自然言語処理のスコアに依存し得る。
【００３４】
たとえば、一般の音声認識のケースでは、自然言語処理が、現フレームでのそれぞれの関心を引く信号ISjの復号化結果についてさらに実施され得、現フレームでの関心を引く信号ISjの自然言語処理S_NLPjのスコアが取得され得る。たとえば、対応する自然言語処理スコアS_NLPjは、現フレームでの関心を引く信号ISjの認識スコアS_IDjとして使用され得、または現フレームでの関心を引く信号ISjの認識スコアS_IDjは、対応する自然言語処理スコアに基づいて決定され得る。
【００３５】
前述のように、現フレームでのそれぞれの関心を引く信号ISjの認識スコアが、次フレームにおいて使用するために記録され得る。
【００３６】
次いで、例示的方法100はステップS140に進み、現フレームでのそれぞれの関心を引く信号ISjの認識スコアに従って認識決定を実施し得る。
【００３７】
たとえば、1つの所定のワードを含むウェイクアップワードを認識するケース、または1つまたは複数の所定のワードを含むコマンドワードを認識するケース、または一般の音声認識のケースでは、現フレームでのすべての関心を引く信号{ISj,1≦j≦n+1}の中の1つまたは複数の所定の条件を満たす第1の関心を引く信号ISk(1≦k≦n+1)の現フレームでの予備的認識結果が、現フレームでのオーディオ信号IN_SIGについての認識結果として決定され得る。
【００３８】
異なる実施形態によれば、ステップS140において考慮され得る1つまたは複数の所定の条件は、限定はしないが、たとえば、以下の条件のうちの1つまたは複数を含み得る。
【００３９】
現フレームでの第1の関心を引く信号ISkの認識スコアS_IDkが、現フレーム(1≦m≦n+1,かつm≠k)での任意の他の関心を引く信号ISMの現フレームでの認識スコアS_IDm以上である、
【００４０】
現フレームでの第1の関心を引く信号ISkの予備的認識結果に対応する所定のワードのヒットタイムが、現フレームでの任意の他の関心を引く信号ISmの予備的認識結果に対応する所定のワードのヒットタイム以上である、
【００４１】
現フレームでの第1の関心を引く信号ISkの認識スコアS_IDkが、第1のしきい値TH1以上であり、第1のしきい値TH1は、必要に応じて任意の適切な値として設定され得る。
【００４２】
上記の所定の条件は、すべての可能な所定の条件ではなく、例に過ぎないことを理解されたい。たとえば、1つの所定のワードを含むウェイクアップワードを認識するケースでは、ウェイクアップ動作を実施することを示すと判定される現フレームでのオーディオ信号IN_SIGについての認識の結果は、限定はしないが、以下の例示的条件のうちの1つまたは複数を含み得る。
【００４３】
第1の関心を引く信号ISkが、現フレームでのすべての関心を引く信号{ISj,1≦j≦n+1}内に存在し、現フレームでの第1の関心を引く信号ISkの認識スコアS_IDkが第1のしきい値TH1以上である、
【００４４】
現フレームでのすべての関心を引く信号{ISj,1≦j≦n+1}のうちの所定の数N1(たとえば100以上)の関心を引く信号{ISr',1≦r≦N1}の中のそれぞれの関心を引く信号ISr'の現フレームでの認識スコアS_IDr'が、第2のしきい値TH2以上である、
【００４５】
現フレームでの雑音除去後信号SIG_DNの認識スコアが第3のしきい値TH3以上であり、現フレームでの各分離後信号SIGiの認識スコアが第4のしきい値TH4以上である、
【００４６】
現フレームでの雑音除去後信号SIG_DNの認識スコアS_IDSIG_DNが第5のしきい値TH5以上であり、現フレームでの分離後信号SIGpの認識スコアS_IDSIGpが、現フレームでの任意の他の分離後信号SIGq(1≦q≦nかつq≠p)の認識スコアS_IDSIGq以上であるような分離後信号SIGp(1≦p≦n)があり、さらに|S_IDSIG_DN-S_IDSIGp|<第6のしきい値TH6かつS_IDSIGp≧第7のしきい値TH7である。
【００４７】
異なる実施形態によれば、第1のしきい値TH1から第7のしきい値TH7の値は、必要に応じて任意の適切な値として設定され得る。
【００４８】
一実施形態では、現フレームでのオーディオ信号IN_SIGについての認識結果が所定の条件に従ってウェイクアップ動作を実施するための命令であると判定されるケースでは、例示的方法100または例示的方法100のステップS140は、ウェイクアップ動作を実施することをさらに含み得、したがって、たとえばスリープまたはスタンドバイ状態のデバイスが、一部またはすべての機能をオンにする。
【００４９】
図1に示される例示的方法100では、マルチウェイ認識が採用され、低い信号対雑音比のケースであっても良好な認識率が取得され得るように、先行フレームのフィードバック情報が各フレームの処理において考慮される。
【００５０】
図3に示されるように、例示的方法100は、スピーカモデルを取得するためのステップS150をさらに含む。したがって、ステップS120では、先行フレーム内のスピーカモデルのフィードバック情報も考慮され得る。
【００５１】
一実施形態では、スピーカモデルによって決定された先行フレームでのスピーカに関連する現フレームでの選択された1次分離後信号の確率が、スピーカモデルによって決定される先行フレームでのスピーカに関連する任意の他の分離後信号の確率以上であり、特定のしきい値以上である。
【００５２】
たとえば、信号SIG1からSIGnの中の各分離後信号SIGiについて、スピーカに関連する各分離後信号の確率PSIGiが、フレームf3でのスピーカモデルによって決定され得、分離後信号SIG2の確率PSIG2が任意の他の分離後信号SIGkの確率PSIGkよりも大きい場合、フレームf4の先頭において、SIG2がフレームf4での1次分離後信号として選択され得、SIG1からSIGnの中の任意の他の分離後信号(1≦k≦nおよびk≠2)のうちの1つまたは複数が、フレームf4での2次分離後信号として使用され得る。
【００５３】
そのようなスピーカモデルを取得するために、ステップS150では、スピーカの特徴が、少なくとも現フレームでのオーディオ信号IN_SIGについての認識結果に従って決定され得、スピーカモデルがスピーカ特徴によってトレーニングされる。
【００５４】
異なる実施形態によれば、スピーカモデルは、カウンタ伝播のタイプの人工ニューラルネットワークスピーカモデル、遺伝的アルゴリズムに基づくベクトル量子化スピーカモデルなどの任意の適切なスピーカモデルであり得る。採用されるスピーカモデルに従って、決定する必要があるスピーカ特徴の詳細が決定され得る。本開示は、特定のスピーカモデルおよび特定のスピーカ特徴に限定されない。
【００５５】
一実施形態では、現フレームの前の少なくとも1つの前フレームの時の対応する前の関心を引く信号も記録され得、対応する前フレームでのそれぞれの前の関心を引く信号の予備的認識結果が、対応する前フレームでのオーディオ信号IN_SIGについての認識結果である。
【００５６】
たとえば、現フレームがf4であると仮定すると、現フレームは、フレームf0での関心を引く信号ISf0(フレームf0での分離後信号SIG1からSIGnおよび雑音除去後信号の中の上記の1つまたは複数の所定の条件を満たす関心を引く信号)、フレームf1での関心を引く信号ISf1(フレームf1での分離後信号SIG1からSIGnおよび雑音除去後信号の中の上記の1つまたは複数の所定の条件を満たす関心を引く信号)、フレームf2での関心を引く信号ISf2(フレームf2での分離後信号SIG1からSIGnおよび雑音除去後信号の中の上記の1つまたは複数の所定の条件を満たす関心を引く信号)、およびフレームf3での関心を引く信号ISf3(フレームf3での分離後信号SIG1からSIGnおよび雑音除去後信号の中の上記の1つまたは複数の所定の条件を満たす関心を引く信号)を記録し得る。
【００５７】
次いで、スピーカ特徴を決定するとき、対応する前フレームでのそれぞれの前の関心を引く信号の予備的認識結果も考慮され得る。
【００５８】
たとえば、フレームf0での関心を引く信号ISf0の予備的認識結果(すなわち、フレームf0でのオーディオ信号IN_SIGについての認識結果)、フレームf1での関心を引く信号ISf1の予備的認識結果(すなわち、フレームf1でのオーディオ信号IN_SIGについての認識結果)、フレームf2での関心を引く信号ISf2の予備的認識結果(すなわち、フレームf2でのオーディオ信号IN_SIGについての認識結果)、フレームf3での関心を引く信号ISf3の予備的認識結果(すなわち、フレームf3でのオーディオ信号IN_SIGについての認識結果)、およびフレームf4での関心を引く信号ISf4の予備的認識結果に従って、スピーカ特徴が決定され得る。
【００５９】
図4は、本開示の一実施形態による方法の別の例を示し、ステップS110は、図1または図3に示されるステップS110と同一であり得、ステップS150は、図3に示されるステップS150と同一であり得、反復部分は再び説明されない。
【００６０】
図4の例では、ブロックAはウェイクアッププロセスに対応し得、ブロックAのステップS120'、S130'、およびS140'は、それぞれ図1の例のステップS120、S130、およびS140に対応し得るが、ウェイクアップワードについての認識により強調を置くことがあり、反復部分は再び説明されない。したがって、ステップS140'はウェイクアップ動作を実施することを含み得、「ウェイクアップ決定」と呼ばれることがあり、ステップS130'も「ウェイクアップ認識」と呼ばれることがある。
【００６１】
ウェイクアップ動作がステップS140'を通じて実施された後、それがブロックAからブロックBに変換され得、ブロックBは一般の認識プロセス(たとえば、コマンドワード認識および一般の音声認識)に対応し得、ブロックBのステップS120”、S130”、およびS140”は、それぞれ図3の例でのステップS120、S130、およびS140に対応し得、反復部分は再び説明されない。
【００６２】
図3または図4の例では、本開示の実施形態による方法はまた、スピーカモデルに応じてスピーカとの関連を決定することを考慮し、したがってスピーカの特徴情報を音声制御および対話ステージにさらに統合することを可能にし、認識率をさらに改善する。
【００６３】
一実施形態では、上記の方法の様々なステップを実施することのできるプログラム命令が、1つまたは複数のコンピュータ可読非一時的記憶媒体上に記憶または実装され得、それによって、そのような非一時的記憶媒体が、コンピュータまたは任意の他のコンピューティングデバイス(たとえば、プロセッサ)によって読み取られるとき、対応するプログラム命令を提供し、コンピュータまたは任意の他のコンピューティングデバイスが、読み取られるプログラム命令に従って、対応する動作を実施することを可能にする。異なる実施形態によれば、プログラム命令は、ソースコード、バイナリコード、中間コードなどの様々な形態、または様々な組合せで非一時的記憶媒体上に実装または記憶され得る。
【００６４】
図5は、本開示の一実施形態による方法を適用することのできる例示的装置200を示し、例示的装置200は、スプリッタSPT、信号発生器GEN、認識器RGZ、決定デバイスDECを備え得る。
【００６５】
一実施形態では、スプリッタSPTは、1つまたは複数のプロセッサ、たとえば、中央演算処理装置(CPU)やフィールドプログラマブルゲートアレイ(FPGA)などの汎用プロセッサまたは処理デバイス、あるいは任意の他の専用プロセッサまたは処理デバイスを含み得る。一実施形態では、スプリッタSPT(たとえば、スプリッタSPT内のプロセッサ)は、入力オーディオ信号IN_SIGを少なくとも2つの分離後信号SIG1、SIG2、...、SIGnに分離するように構成され得る。一実施形態では、スプリッタSPTまたはその中のプロセッサは、たとえば例示的方法100のステップS110を実施するように構成され得る。
【００６６】
一実施形態では、信号発生器GENは、1つまたは複数のプロセッサ、たとえば、CPUやFPGAなどの汎用プロセッサまたは処理デバイス、あるいは任意の他の専用プロセッサまたは処理デバイスを含み得る。一実施形態では、信号発生器GENは、現フレームでの分離後信号SIG1、SIG2、...、SIGnから選択された1次分離後信号SIG_Mおよび1つまたは複数の2次分離後信号SIG_V1、...、SIG_Vn-1に基づいて、現フレームでの雑音除去後信号SIG_DNを生成するように構成され得る。一実施形態では、信号発生器GENまたはその中のプロセッサは、たとえば例示的方法100のステップS120を実施するように構成され得る。
【００６７】
一実施形態では、認識器RGZは、1つまたは複数のプロセッサ、たとえば、CPUやFPGAなどの汎用プロセッサまたは処理デバイス、あるいは他の専用プロセッサまたは処理デバイスを含み得る。一実施形態では、認識器RGZは、現フレームでの複数の関心を引く信号のそれぞれに関する予備的認識を実施するように構成され得、現フレームでの複数の関心を引く信号は、現フレームでの分離後信号SIG1、SIG2...、SIGnおよび雑音除去後信号SIG_DNを含み得、現フレームでの複数の関心を引く信号のそれぞれは、現フレームでの予備的認識の結果RGZj(1≦j≦n+1)に関連する現フレームでの認識スコアを有する。一実施形態では、認識器RGZまたはその中のプロセッサは、たとえば例示的方法100のステップS130を実施するように構成され得る。
【００６８】
一実施形態では、決定デバイスDECは、1つまたは複数のプロセッサ、たとえば、CPUやFPGAなどの汎用プロセッサまたは処理デバイス、あるいは任意の他の専用プロセッサまたは処理デバイスを含み得る。一実施形態では、決定デバイスDECは、現フレームでの複数の関心を引く信号のそれぞれの認識スコア(異なる実施形態によれば、RGZjであり得、またはRGZj内に含まれる)に従って認識決定を実施し、現フレームでの入力オーディオ信号IN_SIGについての認識結果OUT_Rを取得するように構成され得る。一実施形態では、決定デバイスDECまたはその中のプロセッサは、たとえば例示的方法100のステップS140を実施するように構成され得る。
【００６９】
図5に示される構造は例示的なものに過ぎず、限定的なものではないことを理解されたい。本開示の実施形態による装置は、他の構成要素および/または構造をも有し得る。
【００７０】
たとえば、例示的装置200は、外部音声を取得するためのピックアップまたはピックアップ回路として働くためのマイクロフォンアレイをさらに備え得る。さらに、例示的装置200は、アナログ-デジタル変換器やフィルタなどの変換器または変換回路などの構成要素をも備え得る。
【００７１】
たとえば、本開示の一実施形態による装置は、1つまたは複数のプロセッサ(たとえば、CPUやFPGAなどの汎用プロセッサまたは処理デバイス、ならびに/あるいは専用プロセッサまたは処理デバイス)を含み得、そのような1つまたは複数のプロセッサは、開始するときに、例示的方法100など、本開示の一実施形態による少なくとも方法を実施するように構成され得る。
【００７２】
たとえば、本開示の一実施形態による装置は、ワイヤードモードまたはワイヤレスモードにおいて他の構成要素または装置との情報/データ対話を実施するためのI/Oインターフェース、ネットワークインターフェース、および/またはメモリをさらに備え得る。
【００７３】
たとえば、異なる実施形態によれば、装置内のメモリは、様々な形態のコンピュータ可読記憶媒体およびコンピュータ書込み可能記憶媒体、たとえば揮発性メモリおよび/または不揮発性メモリを含み得る。揮発性メモリは、たとえばランダムアクセスメモリ(RAM)キャッシュ、オンチップメモリなどを含み得る。不揮発性メモリは、たとえば読取り専用メモリ(ROM)、ハードディスク、フラッシュメモリなどを含み得る。可動記憶媒体および書込み可能記憶媒体は、限定はしないが、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、またはデバイス、あるいは上記の任意の組合せを含み得る。一実施形態では、メモリは、本開示の実施形態による方法のステップを実施するように装置の1つまたは複数のプロセッサに命令するためのプログラム命令を記憶し得る。
【００７４】
文脈において明らかに必要とされない限り、説明および特許請求の範囲全体にわたって、「備える」や「含む」などの表現は、排他的または網羅的な意味ではなく、包含的な意味に、すなわち「限定はしないが、を含む」という意味に解釈されるべきである。さらに、本開示で使用される「本明細書」、「上記」、「以下」という語、および同様の趣旨の語は、本開示の何らかの特定の部分ではなく、本開示を全体として指すものとする。文脈が許す場合、単数または複数を用いる上記の詳細な説明での語は、それぞれ複数または単数をも含み得る。たとえば、「第1の障害」または「第2の障害」は、1つまたは複数の「第1の障害」または「第2の障害」を意味し得、「別の」は、別の1つまたは複数をも意味し得る。2つ以上の項目のリストを参照する際の「または」という語は、以下の語の解釈のすべてを包含する。リスト中の項目のいずれか、リスト中の項目のすべて、およびリスト中の項目の任意の組合せ。さらに、「第1の」、「第2の」などの用語は、順序または重要性を強調するのではなく、区別のために使用されるものとする。
【００７５】
本発明のいくつかの実施形態が説明されたが、これらの実施形態は、単に例として提示されたものであり、本開示の範囲を限定しないものとする。実際に、本明細書で説明れる新規な方法およびシステムは、様々な他の形式で実施され得る。さらに、本開示の精神から逸脱することなく、本明細書で説明される方法および装置の形態での様々な省略、置換、および変更が行われ得る。
【符号の説明】
【００７６】
204  ノード
200  装置
DEC  決定デバイス
GEN  信号発生器
RGZ  認識器
SPT  スプリッタ
【図１】
2020013129.tif 000003
【図２】
2020013129.tif 000004
【図３】
2020013129.tif 000005
【図４】
2020013129.tif 000006
【図５】
2020013129.tif 000007
【外国語明細書】
2020013129000001.pdf