(57)【要約】  音源方位角演算方法、ターゲットオーディオを位置決める方法、装置およびデバイスが開示されており、この方法は、空間内の複数の方向のオーディオ信号を取得するステップと、オーディオ信号に対してエコー除去処理を行うステップと、オーディオ信号の特徴を使用して、オーディオ信号の複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みはーゲットオーディオダイレクト信号の相対的な割合を示すステップと、複数の方向における各方向のオーディオ信号に対して、複数の時間周波数ポイントでの重みを使用して、オーディオ信号の複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、を含む。
2021533423.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ認識方法であって、
空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うステップと、
を含むことを特徴とするオーディオ認識方法。
【請求項２】
前記重みを使用して、前記オーディオ信号の各時間周波数成分を重み付けて、前記各方向のオーディオ信号の信号エネルギーを得るステップは、
前記重みおよびエコー除去後の前記オーディオ信号の時間周波数領域表現により、前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップであって、前記重み共分散行列が、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものであるステップと、
前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントにおける各時間周波数ポイントでの重みを取得するステップは、
前記オーディオ信号の時間周波数領域表現を取得するステップと、
オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップと、
前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記オーディオ特徴パラメータは、前記時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定するステップであって、前記信号対雑音比推定値は、マッピングによって前記オーディオ信号の時間周波数ポイントでの重みを得るために使用されるものであるステップ、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記オーディオ特徴パラメータは、複数のタイプがあり、前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップは、
時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するステップと、
取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項６】
前記オーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比、残留エコー信号推定値、および前記時間周波数ポイントがターゲットウェイクワードに対応する確率のうちの少なくとも１つまたは任意の組合せ、をさらに含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記オーディオ特徴パラメータは、前記時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
前記オーディオ信号におけるターゲットウェイクワードを検出し、検出された前記ターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得るステップ、を含む、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップは、
時間周波数ポイントで前記オーディオ信号の時間周波数領域表現および重みによって重み付け演算を行い、前記重み付け共分散行列における、前記時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが前記重み付け共分散行列を構成するステップ、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項９】
前記オーディオ信号に対してエコー除去処理を行うステップは、
オーディオインタラクションデバイスにおいてエコー参照信号を取得し、前記エコー参照信号によって、マイクロフォンで収集された前記オーディオ信号に対して線形エコー除去を行うステップと、
前記オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
オーディオインタラクションデバイスがターゲットオーディオを位置決める方法であって、
オーディオインタラクションデバイスは、空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
オーディオインタラクションデバイスは、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得るステップと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決めるステップと、
を含むことを特徴とする位置決め方法。
【請求項１１】
オーディオ認識装置であって、
空間内の複数の方向のオーディオ信号を取得する信号取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含む信号取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する重み演算モジューであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである重み演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル演算モジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得る方位角決定モジュールと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うオーディオ認識モジュールと、
を備えることを特徴とするオーディオ認識装置。
【請求項１２】
前記重み演算モジュールは、
前記オーディオ信号の時間周波数領域表現を取得する時間領域分析ユニットと、
オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うパラメータ推定ユニットと、
前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重みマッピングユニットと、を備える、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記オーディオ特徴パラメータは、複数のタイプがあり、前記重みマッピングユニットは、
時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するマッピング取得ユニットと、
取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重み付けユニットと、を備える、
ことを特徴とする請求項１２に記載の装置。
【請求項１４】
オーディオインタラクションデバイスがターゲットオーディオを位置決める装置であって、
空間内の複数の方向のオーディオ信号を取得するオーディオ取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むオーディオ取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去処理モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する時間周波数ポイント演算モジュールであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである時間周波数ポイント演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル重み付けモジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る方位角位置決めモジュールと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める位置決定モジュールと、
を備えることを特徴とする位置決め装置。
【請求項１５】
オーディオインタラクションデバイスであって、
プロセッサと、メモリとを備え、
前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される場合、請求項１〜１０のいずれか１項に記載の方法を実現する、
ことを特徴とするオーディオインタラクションデバイス。
【請求項１６】
コンピュータ読み取り可能な記憶媒体であって、コンピュータ可読命令が記憶されており、請求項１〜１０のいずれか１項に記載の方法を実現するように、前記コンピュータ可読命令が、１つまたは複数のプロセッサによって実行させる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１１月３０日に中国特許局へ出願された、出願番号が２０１８１１４５５８８０．６であり、出願名称が「音源方位角演算、ターゲットオーディオを位置決める方法、装置、およびデバイス」である中国特許出願の優先権を主張し、その全ての内容が参照することにより本願に組み込まれる。
【０００２】
本願の実施例は、オーディオインタラクションアプリケーションの技術分野に関し、特に、オーディオ認識方法、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法、それらの装置、およびオーディオインタラクションデバイスに関する。
【背景技術】
【０００３】
スマートスピーカーおよびその派生品の流行に従って、マンマシンの間の音声インタラクションは、だんだん重要なマンマシンインタラクション方式になる。スマートスピーカーなどのオーディオインタラクションデバイスは、人々の日常生活に音声認識インターフェースを提供し、これにより、マンマシンの間の音声インタラクションが開始される。
【０００４】
オーディオインタラクションデバイスは、人間との音声インタラクションにおいて、人間、即ちターゲット音声に対応する音源の方位を知る必要があり、これにより、指向性ピックアップ、雑音低減処理を行いながらターゲット音声に対して音声強化を行うことができ、これによって、音声信号の品質を向上させる。
【０００５】
具体的には、ターゲット方向の音声、すなわちターゲット音声がビーム形成アルゴリズムなどによって強化され、このプロセスは、ターゲット方向、すなわちターゲット音声の方向を表す方位角に依存する。既存の実装では、ビーム形成アルゴリズムは、システムがターゲット音声の方位角を事前に提供する必要があり、また、ビーム形成アルゴリズムは、この方位角の正確さに非常に敏感になる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、方位角の正確さを向上させることは、音声信号の品質と音声インタラクションの性能を向上させるボトルネックになっている。
【課題を解決するための手段】
【０００７】
関連技術において方位角が正確に得られない技術的問題を解決するために、本願の実施例は、オーディオ認識方法、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法と装置、およびオーディオインタラクションデバイスを提供する。
【０００８】
本願の実施例に係るオーディオ認識方法であって、
空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うステップと、
を含む。
【０００９】
本願の実施例に係る、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法であって、
オーディオインタラクションデバイスは、空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
オーディオインタラクションデバイスは、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得るステップと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決めるステップと、
を含む。
【００１０】
本願の実施例に係るオーディオ認識装置であって、
空間内の複数の方向のオーディオ信号を取得する信号取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含む信号取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する重み演算モジューであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである重み演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル演算モジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得る方位角決定モジュールと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うオーディオ認識モジュールと、
を備える。
【００１１】
本願の実施形態に係る、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置であって、
空間内の複数の方向のオーディオ信号を取得するオーディオ取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むオーディオ取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去処理モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する時間周波数ポイント演算モジュールであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである時間周波数ポイント演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル重み付けモジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る方位角位置決めモジュールと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める位置決定モジュールと、
を備える。
【００１２】
本願の実施例に係るオーディオインタラクションデバイスであって、プロセッサと、メモリとを備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される場合、前記のような方法を実現する。
【００１３】
本願の実施例に係るコンピュータ読み取り可能な記憶媒体であって、コンピュータ可読命令が記憶されており、各実施形態の方法を実現するように、前記コンピュータ可読命令が、１つまたは複数のプロセッサによって実行させる。
【発明の効果】
【００１４】
本願の実施例の実施形態によって提供される技術的案は、以下の有益な効果を含むことができ、即ち、
与えられたオーディオ信号に向け、それに対してエコー除去処理を行った後、まず、エコー除去後に得られた時間周波数領域表現及び時間周波数ポイントでの重みを取得し、その後、時間周波数ポイントでの重みおよび時間周波数領域表現により、時間周波数ポイントに対応する重み付け共分散行列を取得し、この重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものであり、重み付け共分散行列によって空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得、最後に、空間スペクトルからオーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得ることで、空間スペクトルの役割で、演算量を効果的に制御し、また、重み付け共分散行列がオーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合に対応するものであるため、干渉信号の空間スペクトルへの干渉を効果的に低減させ、複雑なシーンにおける方位角演算のロバスト性を増強させ、さらに、方位角の正確性を大幅に向上させ、オーディオインタラクションの進行のために、方位角を正確に得ることができる。
【００１５】
以上の一般的な説明および後述の詳細な説明は、単なる例示であり、本願の実施例を限定するものではない、ということが理解されるべきである。
【図面の簡単な説明】
【００１６】
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本願の実施例に適合する実施例を示し、また、本明細書とともに本願の実施例の原理を説明するために使用される。
【００１７】
【図１】本願の実施例に係る実施環境の概略図である。
【図２】一例示的な実施例により示される、オーディオインタラクションデバイスのハードウェア構成のブロック図である。
【図３ａ】一例示的な実施形例により示される、音源方位角演算方法のフローチャートである。
【図３ｂ】一例示的な実施形例により示される、音源方位角演算方法のフローチャートである。
【図４】一例示的な実施形例により示される、空間スペクトルと角度との間の関係の概略図である。
【図５】図３の対応する実施形例により示される、ステップ３５０について説明するフローチャートである。
【図６】一例示的な実施例により示される、ＤＲＲから重みへの可能なマッピング関係の概略図である。
【図７】図５の対応する実施例により示される、ステップ３５５について説明するフローチャートである。
【図８】別の例示的な実施例により示される、音源方位角演算方法のフローチャートである。
【図９】一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法のフローチャートである。
【図１０】一例示的な実施例により示される、本願の実施例がオーディオインタラクションデバイスにおいて方位角決定を実現するシステムアーキテクチャ図である。
【図１１】一例示的な実施例により示される、重み付け推定モジュールの実現概略図である。
【図１２】一例示的な実施例により示される、音源方位角演算装置のブロック図である。
【図１３】図１２の対応する実施例により示される、重み演算モジュールを説明するブロック図である。
【図１４】図１２の対応する実施例により示される、重みマッピングユニットを説明するブロック図である。
【図１５】別の例示的な実施例により示される、エコー除去モジュールのブロック図である。
【図１６】一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置のブロック図である。
【発明を実施するための形態】
【００１８】
ここでは、例示的な実施例を詳細に説明し、その例示を図面に示す。以下の説明が図面に言及する場合、特に明記しない限り、異なる図面における同じ数字は、同じまたは類似の要素を表す。以下の例示的な実施例に記載された実施形態は、本願の実施例と一致する全ての実施形態を表すわけではない。逆に、それらは、添付の特許請求の範囲において詳述された、本願の実施例のいくつかの態様と一致する装置および方法の単なる例にすぎない。
【００１９】
図１は、本願の実施例に係る実施環境の概略図である。一例示的な実施例において、この実施環境は、オーディオインタラクションデバイスの任意の使用シーンであってもよい。図１に示すように、この使用環境は、リビングルームでユーザが配置されたオーディオインタラクションデバイス１１０を入口とする騒々しい環境である。
【００２０】
このような使用環境では、ユーザの音声入力に加えて、リビングルームにおけるテレビなどの機器から出力される音声も存在し、これによりユーザの音声入力に対する背景雑音が構成される。
【００２１】
オーディオインタラクションデバイス１１０には、マイクロフォンアレイが設けられており、マイクロフォンアレイによりサンプリングが行われて、オーディオ信号が得られる。取得されたオーディオ信号には、ターゲットオーディオダイレクト信号や雑音信号、エコー信号などが含まれるため、オーディオインタラクションデバイス１１０を介してターゲットオーディオの方位角を推定し、さらに、方位角に基づいてターゲットオーディオを強化させる必要があり、これにより、オーディオインタラクションデバイス１１０は、最終的に、ユーザによって送信されたオーディオ信号、すなわちユーザの音声信号を取得し、それを認識するようにオーディオ認識サービスに転送し、これによって、ユーザにコンテンツサービスを提供することができる。
【００２２】
各実施例では、図３ａに示すように、オーディオインタラクションデバイス１１０は、空間内の複数の方向のオーディオ信号を取得し、前記オーディオ信号に対してエコー除去処理を行うことができる（Ｓ２１）。なお、前記オーディオ信号はターゲットオーディオダイレクト信号を含む。前記オーディオ信号の特徴を使用して、オーディオインタラクションデバイス１１０は、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを得ることができる（Ｓ２２）。なお、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオ信号ダイレクト信号の相対的な割合を示す。オーディオインタラクションデバイス１１０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得ることができる（Ｓ２３）。前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションデバイス１１０は、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得ることができる（Ｓ２４）。この音源方位角を使用して、オーディオインタラクションデバイス１１０は、オーディオ認識を行うことができる（Ｓ２５）。
【００２３】
オーディオインタラクションデバイス１１０によって、ユーザのために音声認識が実現され、さらに認識された音声コンテンツに基づいて、ユーザに対して相応のコンテンツが提供される。もちろん、ユーザの音声認識のために方位角演算を行うことに加えて、認識する必要があるオーディオに対して方位角演算を行うことにより、オーディオを正確に認識することもできる。オーディオインタラクションデバイス１１０を入口として入力されたのは、音声信号であってもよく、他のオーディオ信号であってもよいし、これらがオーディオ信号に総称され、さらに様々な異なるシーンに適用される。
【００２４】
残響が大きいか、またはオーディオインタラクションデバイスが自発的に音響を発生させてエコーを生成するシーンの場合では、例えば前述の例示的な例によって説明された騒々しい環境では、残響および／またはエコーが存在するため、方位角の推定が非常に難しくなって、ターゲット方向とは全く関係ないか、ターゲット方向から乖離した方位角推定結果が生成されやすくなり、しかしながら、本願の実施例の役割の下で、重み付け共分散の推定および重み付け共分散の役割によって、方位角演算のロバスト性が強化され、得られた方位角の正確さは非常に優れている。
【００２５】
図２は、一例示的な実施例により示される、オーディオインタラクションデバイスのハードウェア構成のブロック図である。説明すべきものとして、このオーディオインタラクションデバイスは、本願の実施例に適合される一例にすぎず、本願の実施例の使用範囲に対するいかなる制限を提供しているとは考えられない。このオーディオインタラクションデバイスは、図２に示される例示的なハードウェア構成に依存する必要があるか、またはそれを必ず備えるとも解釈できない。
【００２６】
このオーディオインタラクションデバイス１１０のハードウェア構成は、配置または性能の違いによって大きく異なることができ、図２に示すように、このオーディオインタラクションデバイス１１０は、機能ボタン１１１と、ピックアップマイクロホン１１２と、メインボード１１３と、メイン制御チップ１１４と、ブルートゥース（登録商標）チップ１１５と、ＷｉＦｉチップ１１６と、放熱シート１１７とを備える。
【００２７】
ここで、機能ボタン１１１は、このオーディオインタラクションデバイス１１０の機能配置を行うために使用されるものである。ユーザは、機能ボタン１１１のトリガにより、このオーディオインタラクションデバイスに対して必要な機能を配置する。
【００２８】
ピックアップマイクロホン１１２は、マルチマイクアレイによって構成されており、オーディオ信号の入力を強化することで、遠距離ピックアップを良好に実現する。
【００２９】
機能ボタン１１１およびピックアップマイクロホン１１２は、メインボード１１３上のチップに制御されるように、接続ラインを介してメインボード１１３に接続されており、さらに、オーディオインタラクションデバイス１１０の機能を実現することができる。
【００３０】
メインボード１１３上のチップには、メイン制御チップ１１４、ブルートゥース（登録商標）チップ１１５、ＷｉＦｉチップ１１６が含まれる。メイン制御チップ１１４に書き込まれたオペレーティングシステムは、オーディオインタラクションデバイス１１０の機能を実現し、その内部に配置された記憶媒体が、リソース記憶のキャリアとして機能する、ということが理解されるべきである。
【００３１】
記憶媒体は、ランダム記憶媒体、磁気ディスクまたは光ディスクなどであってもよく、その上に記憶されたリソースには、オペレーティングシステム、アプリケーションプログラムおよびデータなどが含まれ、記憶方式が、一時的な記憶または永久的な記憶であってもよい。ここで、オペレーティングシステムは、オーディオインタラクションデバイス１１０の各ハードウェアおよびアプリケーションプログラムを管理して制御する。アプリケーションプログラムは、オペレーティングシステムに基づいて少なくとも１つの特定の動作を完了するコンピュータプログラムであり、一連の動作命令の実行によって、本願の実施例に係る方法を実現する。データは、ディスクに記憶された写真、画像などであってもよい。
【００３２】
以上で詳細に説明したように、本願の実施例に適用されるオーディオインタラクションデバイス１１０は、記憶媒体に記憶されている一連の動作命令をメインチップ１１４により読み出すことによって、ターゲットオーディオの方位角決定を行う。
【００３３】
図３は、一例示的な実施形態により示される、音源方位角演算方法のフローチャートである。一例示的な実施例において、この音源方位角演算方法は、図３に示すように、少なくとも以下のステップを含む。
【００３４】
ステップ３１０で、オーディオ信号を取得する。
【００３５】
ここで、オーディオ信号は、オーディオインタラクションデバイスがサンプリングを行うことによって得られたものである。一例示的な実施例において、実行されているオーディオインタラクションでは、ユーザの音声入力は、ターゲットオーディオであり、その形成されたターゲットオーディオダイレクト信号が、雑音信号、エコー信号とともに、オーディオインタラクションデバイスがサンプリングを行うことによって得られたオーディオ信号を構成する。オーディオ信号は、オーディオインタラクションデバイスがターゲットオーディオダイレクト信号を得るために、マイクロフォンアレイによってサンプリングを行って得られた空間内の複数の方向のオーディオ信号であり、ターゲットオーディオダイレクト信号は、音声インタラクションに必要な音声認識のために音声コンテンツを提供する。
【００３６】
オーディオ信号は、ユーザが入力した音声信号に加えて、異なるシーンに適応される他のオーディオ信号を含むようにしてもよい。他の例示的な実施例では、オーディオ信号は、ユーザの音声入力によって生成されたものではなく、他のオーディオソース、例えば、オーディオインタラクションデバイスと連動するオーディオソースによって生成されたものである。しかしながら、どのようなシーンに適用されるオーディオ信号は、いずれも、オーディオインタラクションデバイスによってサンプリングして得られたものである。
【００３７】
ステップ３３０で、オーディオ信号に対してエコー除去処理を行う。
【００３８】
ここで、オーディオインタラクションデバイスによってサンプリングされたオーディオ信号のいずれかに対して、エコー参照信号の抽出、エコーの除去、時間周波数領域分析などの一連のプロセスを含むオーディオ処理を行う。
【００３９】
実行されたエコー参照信号の抽出およびエコーの除去のプロセスは、オーディオ信号に対するエコー除去処理であり、これによって、エコー除去後のオーディオ信号が得られる。
【００４０】
ステップ３５０で、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを得る。
【００４１】
ここで、前述したように、オーディオインタラクションデバイスによってサンプリングされたオーディオ信号に対して、オーディオ処理を実行し、即ち、エコー参照信号の抽出、エコーの除去、時間周波数領域の分析などの一連のプロセスを実行し、さらに、オーディオ信号のエコー除去後の時間周波数領域表現を得る。
【００４２】
ここでいう時間周波数領域表現は、オーディオ信号のエコー除去処理が完了された後、時間周波数領域分析を行って得られた、時間周波数ポイントに対応するオーディオ信号表示である。フレームで表現されるオーディオ信号について、時間周波数領域において時間領域と周波数領域の両方から信号表現が実行され、これは、得られた時間周波数領域表現であり、各時間周波数領域表現は、一意に存在する時間周波数ポイントに対応する、ということが理解されるべきである。
【００４３】
オーディオ信号の時間周波数領域表現は、時間周波数領域の信号記述を行うために使用されるものである。オーディオ信号が時間周波数ポイントに対応する時間周波数領域表現によって、各時間周波数ポイントでの重みが得られる。時間周波数ポイントでの重みは、この時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。オーディオ信号は、この時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合が大きいほど、その重みが大きくなり、逆に、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合が小さいほど、その重みも小さくなる。
【００４４】
取得された時間周波数ポイントでの重みは、オーディオ信号のエコー除去後のこの時間周波数ポイントで存在している、ターゲットオーディオに関する情報演算によって得られたものである。このようにして、時間周波数ポイントごとにターゲットオーディオの割合を記述する重みを推定することができる。
【００４５】
時間周波数ポイント演算によって得られた重みは、ある１次元でのターゲットオーディオに関する情報演算から得られたものであり、すなわち、時間周波数ポイント演算から単一の重みを得て、この単一の重みは、オーディオ信号の時間周波数ポイントでの重みとするようにしてよい。これ以外にも、多次元でのターゲットオーディオに関する情報演算から時間周波数ポイントでの複数の重みを得るようにしてもよいし、この場合、複数の重みを総合して、オーディオ信号の時間周波数ポイントでの重みを得る。
【００４６】
例示的には、ターゲットオーディオに関する情報は、オーディオ特徴パラメータであり、このオーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であってもよい。これに加えて、このオーディオ特徴パラメータはまた、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比、残留エコー信号推定値、および時間周波数ポイントがターゲットウェイクワードに対応する確率といういくつかのオーディオ特徴パラメータのうちの１つまたは任意の組合せを含む。
【００４７】
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るために、ステップ３７０で、時間周波数ポイントでの重みおよび時間周波数領域表現により、時間周波数ポイントに対応する重み付け共分散行列を取得することができ、この重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。
【００４８】
ここで、ステップ３５０の実行により、オーディオ信号の各時間周波数ポイントでの重みを得ることにより、得られた重みおよびオーディオ信号のエコー除去後の時間周波数領域表現に基づいて、重み付け共分散行列の推定を行う。
【００４９】
推定された重み付け共分散行列は、オーディオ信号の時間周波数領域表現に関連している。重み付け共分散行列は、オーディオ信号の各時間周波数ポイントでの重みおよび時間周波数領域表現に対して重み付け演算を行って得られたものである。
【００５０】
重み付け共分散行列における重み付け要素は、その対応する数値の大きさが、その対応する時間周波数ポイントでのターゲットオーディオダイレクト信号の相対的な割合の大きさを表すために使用されるものである。
【００５１】
オーディオ信号のエコー除去後の時間周波数領域表現は、オーディオ信号におけるターゲットオーディオダイレクト信号の時間周波数領域での正確な記述である。また、時間周波数ポイントでの重みも、オーディオ信号のエコー除去後の時間周波数領域表現に基づいてターゲットオーディオのために推定されたものであり、そのため、両者は、オーディオ信号におけるターゲットオーディオダイレクト信号の存在を表すために使用されるものであり、両者を総合して重み付け共分散行列を構築し、これによって、後続に実行する空間スペクトル演算は、各時間周波数ポイントに対して行うことができるようになる。
【００５２】
ステップ３８０で、この重み付け共分散行列により、空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトル、すなわち各方向のオーディオ信号の重み付け信号エネルギーを得る。
【００５３】
ここで、空間スペクトルの演算に対して、重み付け共分散行列を導入し、オーディオ信号のエコー除去後の時間周波数領域表現に対して、フレーム毎に対応する、各周波数ポイントに向ける空間スペクトル重み付け演算を行い、これにより、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。これによって、空間スペクトル演算のために、雑音及び残留エコーの干渉を低減させ、演算量を制御する前提で、ロバスト性を向上させる。
【００５４】
一例示的な実施例において、重み付けされていない空間スペクトルは、以下の式で演算して得られる。即ち、
【００５５】
【数１】
2021533423.tif 000003
【００５６】
ターゲットウェイクワード（即ち、予め設定されたキーワードであり、デバイスがこのキーワードを検出してからオーディオ認識を開始する）は、フレームｎ０からフレームｎ１までの時間帯にあり、即ち、ｎは、フレーム番号であり、ｆは、周波数ポイント番号であり、ｆ＝１，２，…Ｎｆ，Ｎｆは、周波数ポイントの個数であり、ｆ０およびｆ１は、空間スペクトルを推定するために選択された周波数範囲であり、「．Ｈ」は、共役転置演算子（Ｈｅｒｍｉｔｉａｎ  Ｏｐｅｒａｔｏｒ）を表し、ｗ（θ，ｆ）は、予め設計された、周波数ポイントｆで、方向θを指す空間フィルタ係数であり、ｗ（θ，ｆ）∈ＣＮ×１（Ｎ×１の複素数ベクトル）、Ｓ（ｎ，ｆ）は、オーディオ信号に対して時間周波数分析を実行して得られたフレームｎ、周波数点ｆでの時間周波数成分である。
【００５７】
ｗ（θ，ｆ）の設計は、固定ビーム形成アルゴリズムまたは適応的ビーム形成アルゴリズムを用いて実現するようにしてよく、ｗ（θ，ｆ）の設計の目的／効果は、θ方向の信号を保持し、他の方向からの信号を最大程度に抑制することである、ということが理解されるべきである。
【００５８】
これを基にして、重み付けされた空間スペクトルｐｇ（θｉ）を計算すること、即ち、重み付け共分散行列を導入して空間スペクトル重み付けを行うことは、以下の式により実現される。
【００５９】
【数２】
2021533423.tif 000004
【００６０】
ここで、ｇ（ｎ，ｆ）は、各時間周波数ポイントでの重みであり、θｉは、ｉ番目の方向であり、Ｎθは、方向の総数である。
【００６１】
この場合、Ｃ（ｎ，ｆ）＝Ｓ（ｎ，ｆ）ＳＨ（ｎ，ｆ）を定義すると、式（３）が下記のように簡略化され、即ち、
【００６２】
【数３】
2021533423.tif 000005
【００６３】
重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）が下記のように定義され、即ち、
【００６４】
【数４】
2021533423.tif 000006
【００６５】
式（３）は、さらに、下記のように簡略化されることができ、即ち、
【００６６】
【数５】
2021533423.tif 000007
【００６７】
これにより、式（４）によって、重み付けされた空間スペクトルが得られる。
【００６８】
ステップ３９０で、空間スペクトルからオーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得る。
【００６９】
ここで、上記のようなステップにより空間スペクトル推定が完了された後、空間スペクトルが方向に対応するものであるため、空間スペクトルによって方位角の選択は可能になり、さらに、ターゲットオーディオダイレクト信号のマイクロフォンアレイに位置する方位角の方向は分かることができ、これは、オーディオインタラクションにおける音源方位角である。
【００７０】
空間スペクトル推定は、重み付け共分散行列を導入して行われ、また、重み付け共分散行列における重み要素は、雑音信号および残響エコー信号のターゲットオーディオダイレクト信号に対する干渉のサイズを表すために使用されるものであり、そのため、重み付け共分散行列の役割の下で、雑音信号および残響エコー信号の空間スペクトル推定における干渉が遮断される。
【００７１】
例えば、スマートスピーカーなどのオーディオインタラクションデバイスが自発的に音響を発生させる場合、エコー除去プロセスによって、オーディオ信号における大部分のエコー信号が除去されたが、得られた時間周波数領域表現では、残留エコー信号のエネルギーがターゲットオーディオダイレクト信号のエネルギーよりも大きい場合もあり、特に、ユーザがオーディオインタラクションデバイスから遠い場合、または音声が比較的に小さい場合、この際に、重み付け共分散行列の役割の下で、残留エコー信号が空間スペクトル推定に強い干渉を与えるということが遮断されることができ、さらに、推定して得られた方位角がオーディオインタラクションデバイスのラッパ方向に偏ったり、領域内のある強い反射源方向に近づいたりすることを回避できる。
【００７２】
空間スペクトルにより実行された方位角選択について、一例示的な実施例において、空間スペクトルと角度の間の関係により、対応する空間スペクトルがピーク点にある角度を音源方位角とする。
【００７３】
例えば、空間スペクトルと角度の間の関係は図４に示されるように、図４は、一例示的な実施例により示される、空間スペクトルと角度の間の関係の概略図である。上記のステップにより空間スペクトルｐ（θｉ）が演算して得られた後、図４におけるピーク点、すなわち図２の６０度方向を音源方位角とする。
【００７４】
もちろん、これは、音源方位角の取得の例示的な方法にすぎないが、これに限らず、他の方法によって、空間スペクトルに基づいて音源方位角を選択することもある。どの選択法を採用しても、複雑なシーンに対してロバスト性を備えた空間スペクトルの役割の下で、音源方位角を正確に得ることができる。
【００７５】
例えば、環境が複雑で、強い残響または反射源が存在する場合、演算によって得られた空間スペクトルは残響方向または反射源方向で高いエネルギーピークを発生させ、相応的に、ターゲットオーディオダイレクト信号のエネルギーピークが他の方向に対して弱くなる可能性もあり、これは、空間スペクトルの推定が複雑な環境の影響を受けて、ロバスト性が強くないためである。
【００７６】
しかし、上述したステップの実現により、即ち、重み付け共分散行列の推定と導入により、空間スペクトルのロバスト性が大幅に強化され、これによって、空間スペクトルを介して音源方位角が得られる方式を変化する必要がなく、音源方位角も正確に得られ、また、空間スペクトルの応用により演算量も制御される。
【００７７】
図５は、図３の対応する実施例により示される、ステップ３５０について説明するフローチャートである。一例示的な実施例において、このステップ３５０は以下のステップを含む。
【００７８】
ステップ３５１で、オーディオ信号の時間周波数領域表現を取得する。
【００７９】
ステップ３５３で、オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行う。
【００８０】
ステップ３５５で、時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、オーディオ信号の時間周波数ポイントでの重みを得る。
【００８１】
ここで、前述したように、オーディオ信号の時間周波数領域表現は、オーディオ信号のエコー除去後の時間周波数ポイントでの信号表現である。つまり、時間周波数ポイントごとに、対応するオーディオ信号時間周波数領域表現がある。オーディオ特徴パラメータは、オーディオ信号のエコー除去後のターゲットオーディオの存在状況および雑音、残響エコーの存在状況を記述するために使用されるものである。
【００８２】
一例示的な実施例において、オーディオ特徴パラメータは、少なくとも時間周波数領域表現の時間周波数ポイントでの信号対雑音比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ、略してＳＮＲ）の推定値である。これに加えて、オーディオ特徴パラメータは、他のタイプの特徴パラメータ、例えば、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比（Ｄｉｒｅｃｔ−ｔｏ−Ｒｅｖｅｒｂ  Ｒａｔｉｏ、略してＤＲＲ）、残響エコー信号の推定値（Ｓｉｇｎａｌ−ｔｏ−Ｅｃｈｏ  Ｒａｔｉｏ、略してＳＥＲ）、および時間周波数ポイントがターゲットウェイクワードに対応する確率を含むようにしてよい。
【００８３】
単一のタイプのオーディオ特徴パラメータに従って、この単一のタイプのオーディオ特徴パラメータの次元での、オーディオ信号の時間周波数ポイントでの重みが得られる、ということが理解されるべきである。言い換えれば、オーディオ信号の１つの時間周波数ポイントでの、推定されたオーディオ特徴パラメータは、単一の存在であり、この時間周波数ポイントで単一の重みが得られ、また、この重みがオーディオ信号の時間周波数ポイントでの重みとして使用される。
【００８４】
これに対応して、複数のタイプのオーディオ特徴パラメータに従って、所在する時間周波数ポイントに対して、各オーディオ特徴パラメータに対応する重みが得られ、所在する時間周波数ポイントで得られたすべての重みが総合され、オーディオ信号の時間周波数ポイントでの重みとして使用される。
【００８５】
さらに、それぞれ異なるタイプのオーディオ特徴パラメータについて、オーディオ特徴パラメータの推定を説明する。
【００８６】
（１）時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値とは、この時間周波数領域表現によって、自身が所在する時間周波数ポイントに対して推定して得られた信号対雑音比を指す。
【００８７】
一例示的な実施例において、信号対雑音比ＳＮＲは、以下の式により算出して得られ、即ち、
【００８８】
【数６】
2021533423.tif 000008
【００８９】
ここで、ｋ（ｎ，ｆ）は、時間周波数ポイント（ｎ，ｆ）での雑音推定信号であり、Ｓ１（ｎ，ｆ）は、音声信号のエコー除去後の時間周波数ポイント（ｎ，ｆ）での時間周波数領域表現である。雑音推定信号ｋ（ｎ，ｆ）は、行われた最小値追跡によって得られたものである。
【００９０】
（２）時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比とは、この時間周波数ポイントでの時間周波数領域表現について、ターゲットオーディオダイレクト信号と残響信号のそれぞれのエネルギー比を指す。
【００９１】
一例示的な実施例において、以下のような簡単な計算方法によって推定することができ、即ち、
【００９２】
【数７】
2021533423.tif 000009
【００９３】
ここで、Ｂｎ＞０は、部屋の残響時間長（または予め設定されたある固定時間長）を表し、Ｂｆ＞０は、システムに採用された時間周波数分析アルゴリズムの周波数間漏れ幅、例えば、時間周波数分析（ＦＦＴ）の長さ、および、使用された時間分析窓関数によって決定された周波数分解能である。
【００９４】
（３）残留エコー信号の推定値は、時間周波数領域表現Ｓ１（ｎ，ｆ）におけるＳＥＲ（Ｓｉｇｎａｌ−ｔｏ−Ｅｃｈｏ  Ｒａｔｉｏ）を推定して得られた値である。残留エコー信号の推定値の取得は、ＥＣ−ＰＰ（Ｅｃｈｏ−Ｃａｎｃｅｌｌａｔｉｏｎ−Ｐｏｓｔ−Ｐｒｏｃｅｓｓｉｎｇ、エコー除去後処理）推定を行うことにより実現される。
【００９５】
一例示的な実施例において、まず、時間周波数領域表現における残留エコー信号
【数８】
2021533423.tif 000010
を推定し、次に、残留エコー信号の推定値を以下の式で演算し、即ち、
【００９６】
【数９】
2021533423.tif 000011
【００９７】
（４）時間周波数ポイントがターゲットウェイクワードに対応する確率は、時間周波数ポイントがターゲットウェイクワードに帰属する確率である。マイクロフォンアレイの前処理プロセスの間に、いずれも、キーワード検出が行われ、オーディオ信号に予め設定されたキーワード、すなわちターゲットウェイクワードが現れるかどうかが検出される、ということが理解されるべきである。
【００９８】
一例示的な実施例において、キーワードを検出すると同時に、キーワード、即ち、ターゲットウェイクワードにおける、各音素が現れる起止時間点、さらにターゲットウェイクワードが所在する時間周波数ポイントも得られる。
【００９９】
これにより、各時間周波数ポイントがターゲットウェイクワードに属する確率、すなわち、時間周波数ポイントがターゲットウェイクワードに対応する確率が得られ、一部の非ターゲットウェイクワードの時間周波数ポイントが空間スペクトル推定の計算から除外され、さらに、空間スペクトル推定の雑音、特に非定常状態の雑音に対するロバスト性を向上させることができる。
【０１００】
要するに、時間周波数ポイントに対応するオーディオ特徴パラメータを推定して得られた後、時間周波数ポイントに対応するオーディオ特徴パラメータから、マッピングによってオーディオ信号のこの時間周波数ポイントでの重みが得られる。
【０１０１】
オーディオ特徴パラメータは、ターゲットオーディオダイレクト信号に対するものであるため、オーディオ特徴パラメータの数値の大きさは、ターゲットオーディオダイレクト信号と正の相関になり、雑音信号およびエコー信号と負の相関になり、オーディオ特徴パラメータは、ターゲットオーディオダイレクト信号の所在する時間周波数ポイントでのエネルギー強度に対応するものである。したがって、オーディオ特徴パラメータと重みとの間には、正相関のマッピング関係が存在する。
【０１０２】
一例示的な実施例において、マッピング関数によって、推定して得られたオーディオ特徴パラメータに基づいて、対応する時間周波数ポイントでの重みを得ることができる。
【０１０３】
図６に示すように、図６は、一例示的な実施例により示される、ＤＲＲ（ｎ，ｆ）から重みｇ１（ｎ，ｆ）への可能なマッピング関係を示す図である。このＤＲＲ推定値に基づいて、重みｇ１（ｎ，ｆ）は、図６に示すマッピング関数によって得られる。ここでは、図６に採用されている関数曲線および２つの曲がり点の位置は、いずれも一例である、ということが理解されるべきである。
【０１０４】
この例示的な実施例では、オーディオ信号に対する時間周波数領域表現により、ターゲットオーディオを記述するオーディオ特徴パラメータが得られ、さらに、雑音信号、残留エコー信号を排除することができる重みが得られ、これにより、後続の空間スペクトル計算が干渉されないことが保証される。
【０１０５】
一例示的な実施例において、オーディオ特徴パラメータは、単一の一種であってよく、即ち、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であってもよく、このステップ３５３は、オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定するステップであって、この信号対雑音比推定値は、マッピングによってオーディオ信号の時間周波数ポイントでの重みを得るために使用されるものであるステップを含む。
【０１０６】
ここで、オーディオ特徴パラメータに対して、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値が不可欠なものである。オーディオ特徴パラメータのタイプが単一である場合、このオーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値であり、オーディオ特徴パラメータが複数のタイプの特徴パラメータを含む場合、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値に基づいて新しく追加して豊富された他のタイプの機能パラメータである。
【０１０７】
図７は、図５の対応する実施例により示される、ステップ３５５について説明するフローチャートである。一例示的な実施例において、オーディオ特徴パラメータは、複数のタイプがあり、このステップ３５５は、少なくとも以下のステップを含む。
【０１０８】
ステップ４０１で、時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得する。
【０１０９】
ステップ４０３で、取得された重みを重み付けて、オーディオ信号の時間周波数ポイントでの重みを得る。
【０１１０】
ここで、前述したように、時間周波数領域表現の時間周波数ポイントでのオーディオ特徴パラメータは、複数のタイプにすることができ、さらに、相応の重みは、マッピングによって異なる次元で得られたものである。
【０１１１】
マッピングによって得られた複数の重みに対して重み付け演算を行うことにより、複数の重みを総合してオーディオ信号の時間周波数ポイントでの重みを得る。
【０１１２】
一例示的実施例において、オーディオ特徴パラメータは、時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、この場合、ステップ３５３は、以下のステップを含む。
【０１１３】
オーディオ信号におけるターゲットウェイクワードを検出し、検出されたターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得る。
【０１１４】
ここで、実行されたキーワード検出（Ｋｅｙｗｏｒｄ−Ｓｐｏｔｔｉｎｇ、略してＫＷＳ）によって、検出されたターゲットウェイクワードが所在する時間周波数ポイントを推定し、それによって、各時間周波数ポイントに対して、自身がターゲットウェイクワードに対応する確率を得る。
【０１１５】
一例示的な実施例において、このステップ３７０は、時間周波数ポイントでオーディオ信号の時間周波数領域表現および重みによって重み付け演算を行い、重み付け共分散行列における、時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが、重み付け共分散行列を構成する。
【０１１６】
ここで、前述のステップの実行により、各時間周波数ポイントでのオーディオ信号の時間周波数領域表現および重みを得た後、この時間周波数ポイントに対して、重み付け共分散行列における重み付け要素値を演算することができる。
【０１１７】
具体的には、時間周波数領域表現と重みとの間の重み付け演算により、重み付け要素値を得、すなわち、下記の式で説明されるように、重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）は、以下の通りであり、即ち、
【０１１８】
【数１０】
2021533423.tif 000012
【０１１９】
図８は、別の例示的な実施例により示される、音源方位角の演算方法のフローチャートである。別の例示的な実施例において、図８に示すように、この音源方位角の演算方法は、ステップ３３０を実行し、少なくとも以下のステップを含む。
【０１２０】
ステップ５１０で、オーディオインタラクションデバイスにおいて、エコー参照信号を取得し、エコー参照信号によって、マイクロフォンで収集されたオーディオ信号に対して線形エコー除去を行う。
【０１２１】
ステップ５３０で、オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得る。
【０１２２】
ここで、オーディオインタラクションデバイスは、オーディオに関連するサービスのインターフェースとして、ユーザのためにオーディオインタラクションを実現する。オーディオインタラクションデバイスは、スマートスピーカー、音声制御機能付きのスマートテレビまたはテレビボックスなどの製品であってもよく、オーディオインタラクションデバイスのマイクロフォンは、アレイ形式であり、すなわちマイクロフォンアレイである。
【０１２３】
オーディオインタラクションデバイスが動作状態にある場合、信号サンプリングを行い、所在する環境に存在しているオーディオ信号を得る。オーディオインタラクションにおいて得られたオーディオ信号は、ターゲットオーディオダイレクト信号、雑音信号およびエコー信号を含む、ということが理解されるべきである。
【０１２４】
一例示的な実施例において、時間周波数分析は、短時間フーリエ変換によって信号時間周波数分析を実現するようにしてよい。
【０１２５】
マイクロフォンアレイでは、各マイクロフォンによってサンプリングして得られたオーディオ信号がエコー参照信号によってエコー除去された後、各オーディオ信号に対して、各時間周波数ポイントでの時間周波数領域表現を得ることにより、重み付け共分散行列を導入して空間スペクトル推定に入り、音源方位角を決定することができる空間スペクトルを得る。
【０１２６】
この例示的な実施例により、オーディオインタラクションデバイスにおけるオーディオ信号に関する前処理が実現され、これに基づいて重み付け共分散行列および対応する空間スペクトルの推定が可能にする。
【０１２７】
図９は、一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める方法のフローチャートである。一例示的な実施例において、図９に示すように、当該オーディオインタラクションデバイスがターゲットオーディオを位置決める方法は、少なくとも以下のステップを含む。
【０１２８】
ステップ７１０で、オーディオインタラクションデバイスは、オーディオ信号を取得する。
【０１２９】
ステップ７２０で、オーディオ信号に対してエコー除去処理を行う。
【０１３０】
ステップ７３０で、オーディオインタラクションデバイスは、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得し、オーディオ信号は、オーディオインタラクションデバイスにおけるマイクロフォンによりサンプリングして得られたものである。
【０１３１】
ステップ７４０で、時間周波数ポイントでの重みおよび時間周波数領域表現によって、オーディオ信号の、時間周波数ポイントに対応する重み付け共分散行列を取得し、重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。
【０１３２】
ステップ７５０で、重み付け共分散行列によって空間スペクトルの重み付け演算を行い、オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。
【０１３３】
ステップ７６０で、オーディオインタラクションデバイスは、空間スペクトルからオーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る。
【０１３４】
ステップ７７０で、音源方位角によってオーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める。
【０１３５】
この例示的な実施例により、ターゲットオーディオの音源の位置決めが実現され、これによって、ターゲットオーディオに対応する音源の位置が分かる。
【０１３６】
上述したような例示的な実施形例によれば、演算量が制御された場合、ロバスト性を向上させた空間スペクトル推定が実現され、例えば雑音信号、残留エコー信号などの干渉信号の空間スペクトル推定への干渉が効果的に低減され、さらに、方位角推定のロバスト性を向上させる。
【０１３７】
これにより、残響、エコーや雑音のシーンで、方位角推定の正確さとロバスト性を向上させることができ、相応的に、オーディオインタラクションデバイスにおけるオーディオ認識性能を改善させ、向上させることができる。
【０１３８】
オーディオインタラクションデバイスにおける方位角推定の実現の説明を例として、上述の方法と関連して説明を行う。
【０１３９】
従来の方位角推定において、一方では、空間内の各方向からの信号エネルギーを使用して方位角を推定するクラシック空間スペクトル推定アルゴリズムによって実現でき、他方では、線形残響抑圧能力付きの空間スペクトル推定アルゴリズムによって実現できる。
【０１４０】
ここで、クラシック空間スペクトル推定アルゴリズムは、オーディオ信号の時間周波数領域表現によって空間スペクトル推定の結果を得る。
【０１４１】
しかしながら、環境に強い残響または反射源がある場合、推定された空間スペクトルは、残響方向または反射源方向に、より高いエネルギーピークを生成する可能性があり、また、そのターゲットオーディオのエネルギーピークが他の方向に対して弱くなる可能性もあり、これは、いずれも、方位角の正確な推定が不可能になる。
【０１４２】
また、例えば、行われたオーディオ信号前処理により、オーディオ信号における大部分のエコー信号を除去することができるが、オーディオ信号の時間周波数領域表現に残留しているエコー信号は、ターゲットオーディオ信号のエネルギーを超える可能性もあり、特に、ユーザがオーディオインタラクションデバイスから遠い場合、または話し声が小さい場合、残留しているエコー信号は、推定された空間スペクトルに強い干渉を与える可能性があり、最終的には、方位角がオーディオインタラクションデバイスのスピーカー方向またはある強い反射源方向に偏ることをもたらす。
【０１４３】
したがって、クラシック空間スペクトル推定アルゴリズムは、ロバスト性を欠き、さらに、方位角推定の不正確性をもたらす。
【０１４４】
線形残響抑圧能力付きの空間スペクトル推定アルゴリズムは、線形処理アルゴリズムにより、各オーディオ信号における残響成分を低減して、空間内の各ターゲットオーディオのダイレクト成分を保持し、これにより、空間スペクトルの推定に対する残響の影響が低減される。
【０１４５】
しかしながら、この線形残響抑圧アルゴリズムは、適応的アルゴリズムであり、つまり、環境に雑音やエコーが存在している場合、残響抑圧の性能の低下が非常に顕著になり、また、収束しないことや発散することが起こりやすい。次に、線形残響抑圧アルゴリズムは、雑音やエコーシーンでの空間スペクトル推定のロバスト性を向上させることができず、また、演算量が非常に大きくなり、そのため、オーディオインタラクションデバイス上での展開が困難である。
【０１４６】
したがって、従来の方位角推定は、いずれも、オーディオインタラクションデバイスに適用されず、本願の実施例の例示的な実施形態の方法によって、演算量を制御する前提で、残響、雑音、およびスピーカーエコーに対する空間スペクトル推定のロバスト性を向上させる、ということを実現する必要がある。
【０１４７】
図１０は、一例示的な実施例により示される、本願の実施例ではオーディオインタラクションデバイスで方位角決定を実現するシステムアーキテクチャ図である。本願の実施例では、オーディオインタラクションデバイスで実行される方位角推定は、図１０に示すように、オーディオインタラクションデバイスにおけるマイクロフォンアレイがオーディオ信号のサンプリングを行い、多重のオーディオ信号を得る。
【０１４８】
即ち、アレイにおけるマイクロフォンｍｉｃ−１、ｍｉｃ−２、…ｍｉｃ−Ｎによって、多重の音声信号ｍ１（ｔ）、ｍ２（ｔ）、…ｍＮ（ｔ）がそれぞれサンプリングして得られ、線形エコー除去モジュール９１０に入力される。
【０１４９】
線形エコー除去モジュール９１０は、抽出されたエコー参照信号ｒ（ｔ）に基づいて、エコー除去を完成し、エコー除去後のオーディオ信号Ｓ１（ｔ）、Ｓ２（ｔ）、…ＳＮ（ｔ）を得、さらに、時間周波数分析モジュール９３０に入力する。
【０１５０】
時間周波数分析モジュールによって多重のエコー除去後のオーディオ信号Ｓ１（ｔ）、Ｓ２（ｔ）、…ＳＮ（ｔ）に対して時間周波数分析を行った後、相応の時間周波数領域表現、即ちＳ１（ｎ，ｆ）、Ｓ２（ｎ，ｆ）、…ＳＮ（ｎ，ｆ）を得、さらに、空間スペクトル推定モジュール９７０に入力する。
【０１５１】
オーディオ信号の時間周波数領域表現Ｓ１（ｎ，ｆ）、Ｓ２（ｎ，ｆ）、…ＳＮ（ｎ，ｆ）に対して、重み付け推定モジュール９５０は、ＫＷＳ情報、エコー参照信号の時間周波数領域表現Ｒ（ｎ，ｆ）およびＤＲＲ推定、ＳＮＲ推定、ＥＣ−ＰＰ推定によって重み付け共分散行列を得、図１１は、一例示的な実施例により示される、重み付け推定モジュールの実現の概略図であり、これによって、重み付け共分散行列を構成する重みが得られる。
【０１５２】
具体的には、得られた複数の重みが相乗方式で総合され、下記の公式の通りであり、即ち、
【０１５３】
【数１１】
2021533423.tif 000013
【０１５４】
これにより、１つの時間周波数ポイントでのＤＲＲ推定値、ＳＥＲ、ＳＮＲがすべて高い場合、対応する重みが１に近くなる可能性があり、いずれかの重みが低い場合、この時間周波数ポイントでの重みが０に近くなる、というが保証され、これによって、ターゲットオーディオダイレクト信号の重み付け共分散行列における相対的な割合を向上させ、空間スペクトル推定に対する干渉信号の影響が低減される。
【０１５５】
空間スペクトルについて、空間角度θは、連続変数である（数え切れないほどの方位角が存在している）ので、方位角ごとに、空間スペクトルｐ（θ）を計算することができない、ということが理解されるべきである。実際の工学応用では、限られた数の方位角θｉ，ｉ＝１，２，…Ｎθ（Ｎθは、選択された方位角の個数）を選択して、対応する方向の空間スペクトルを計算する、ということが多い。
【０１５６】
本願の実施例の実現によれば、空間スペクトル推定モジュールは、ターゲットオーディオダイレクト信号ｓｄ、ターゲット音声の残響反射信号ｓｒ、雑音信号のダイレクト及び反射成分ｎｄｒ、さらに残留しているエコー信号ｅに対して、重み付け値ｇ（ｎ，ｆ）によって空間スペクトルの推定を行い、ｓｄが支配する時間周波数ポイントで、ｇ（ｎ，ｆ）が大きく、ｓｄがｓｒ、ｎｄｒまたはｅによってカバーされた時間周波数ポイントで、ｇ（ｎ，ｆ）が小さいので、音声のダイレクト信号ｓｄの重み付け共分散行列Ｇ（ｎ０，ｎ１，ｆ）における相対的な割合を高め、さらに、干渉信号（ｓｒ，ｎｄｒおよびｅを含む）の空間スペクトル推定への干渉を低減させ、最終的には、複雑シーンでの方位角推定アルゴリズムのロバスト性を高める。
【０１５７】
以下、本願の実施例に係る装置の実施形態であり、それは、本願の実施例に係る上記の方法の実施形態を実行するために使用されるものである。本願の実施例に係る装置の実施形態に開示されていない詳細について、本願の実施例に係る他の方法の実施形態を参照してください。
【０１５８】
図１２は、一例示的な実施例により示される、音源方位角の演算装置のブロック図である。一例示的な実施例において、図１２に示すように、この音源方位角の演算装置には、信号取得モジュール１１１０と、エコー除去モジュール１１２０と、重み演算モジュール１１３０と、行列構築モジュール１１４０と、空間スペクトル演算モジュール１１５０と、方位角決定モジュール１１６０とが含まれるが、これらに限定されない。
【０１５９】
信号取得モジュール１１１０は、オーディオ信号を取得する。
【０１６０】
ここで、このオーディオ信号は、空間内の複数の方向のオーディオ信号であり、ターゲットオーディオダイレクト信号を含む。
【０１６１】
エコー除去モジュール１１２０は、オーディオ信号に対してエコー除去処理を行う。
【０１６２】
重み演算モジュール１１３０は、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の、複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示す。
【０１６３】
空間スペクトル演算モジュール１１５０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る。
【０１６４】
いくつかの実施例では、重み演算モジュール１１３０は、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得するようにしてよい。この装置は、行列構築モジュール１１４０をさらに備えるようにしてよく、この行列構築モジュール１１４０は、前記時間周波数ポイントでの重みおよび時間周波数領域表現によって、前記時間周波数ポイントに対応する重み付け共分散行列を演算し、前記重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。空間スペクトル演算モジュール１１５０は、前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。方位角決定モジュール１１６０は、前記空間スペクトルから前記オーディオ信号におけるターゲットオーディオダイレクト信号に対応する音源方位角を得る。
【０１６５】
図１３は、図１２の対応する実施例により示される、重み演算モジュールを説明するブロック図である。一例示的な実施例において、図１３に示すように、この重み演算モジュールは、時間周波数分析ユニット１１１１と、パラメータ推定ユニット１１１３と、重みマッピングユニット１１１５とを備える。
【０１６６】
時間周波数分析ユニット１１１１は、オーディオ信号の時間周波数領域表現を取得する。
【０１６７】
パラメータ推定ユニット１１１３は、オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行う。
【０１６８】
重みマッピングユニット１１１５は、前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得る。
【０１６９】
一例示的な実施例において、オーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値を含み、時間周波数分析ユニット１１１１は、さらに、オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定し、前記信号対雑音比推定値は、マッピングによって前記オーディオ信号の時間周波数ポイントでの重みを得るために使用されるものである。
【０１７０】
図１４は、図１２の対応する実例により示される、重みマッピングユニットを説明するブロック図である。一例示的な実施例において、オーディオ特徴パラメータは、複数のタイプがあり、図１４に示すように、この重みマッピングユニット１１１３は、マッピング取得ユニット１２０１と重み付けユニット１２０３とを備える。
【０１７１】
マッピング取得ユニット１２０１は、時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得する。
【０１７２】
重み付けユニット１２０３は、取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得る。
【０１７３】
一例示的な実施例において、オーディオ特徴パラメータは、時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、パラメータ推定ユニット１１１３は、さらに、前記オーディオ信号におけるターゲットウェイクワードを検出し、検出された前記ターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得る。
【０１７４】
一例示的な実施例において、行列構築モジュールは、さらに、時間周波数ポイントで、前記オーディオ信号の時間周波数領域表現および重みによって、重み付け演算を行い、前記重み付け共分散行列における、前記時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが前記重み付け共分散行列を構成する。
【０１７５】
図１５は、別の例示的な実施例により示される、音源方位角の演算装置のブロック図である。別の例示的な実施例において、図１５に示すように、このエコー除去モジュール１１２０は、エコー除去モジュール１１２１と、時間周波数分析モジュール１１２３とを備える。
【０１７６】
エコー除去モジュール１１２１は、前記オーディオインタラクションデバイスにおいて、エコー参照信号を取得し、前記エコー参照信号によって、マイクロフォンで収集された前記オーディオ信号に対して線形エコー除去を行う。
【０１７７】
時間周波数分析モジュール１１２３は、前記オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得る。
【０１７８】
図１６は、一例示的な実施例により示される、オーディオインタラクションデバイスがターゲットオーディオを位置決める装置のブロック図である。一例示的な実施例において、図１６に示すように、このオーディオインタラクションデバイスがターゲットオーディオを位置決める装置は、オーディオ取得モジュール１４１０と、エコー除去処理モジュール１４２０と、時間周波数ポイント演算モジュール１４３０と、行列演算モジュール１４４０と、空間スペクトル重み付けモジュール１４５０と、方位角位置決めモジュール１４６０と、位置決定モジュール１４７０とを備える。
【０１７９】
オーディオ取得モジュール１４１０は、オーディオ信号を取得する。
【０１８０】
ここで、前記オーディオ信号は、空間内の複数の方向のオーディオ信号であってよく、ターゲットオーディオダイレクト信号を含む。
【０１８１】
エコー除去処理モジュール１４２０は、オーディオ信号に対してエコー除去処理を行う。
【０１８２】
時間周波数ポイント演算モジュール１４３０は、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の、複数の時間周波数ポイントでの重みを取得し、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示す。
【０１８３】
空間スペクトル重み付けモジュール１４５０は、前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る。
【０１８４】
方位角位置決めモジュール１４６０は、前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る。
【０１８５】
位置決定モジュール１４７０は、前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める。
【０１８６】
いくつかの実施例において、時間周波数ポイント演算モジュール１４３０は、エコー除去後のオーディオ信号の時間周波数領域表現および時間周波数ポイントでの重みを取得することに使用されることができ、前記オーディオ信号は、前記オーディオインタラクションデバイスにおけるマイクロフォンによりサンプリングして得られたものである。この装置は、行列演算モジュール１４４０をさらに備えるようにしてよく、この行列演算モジュール１４４０は、前記時間周波数ポイントでの重みおよび時間周波数領域表現によって、前記オーディオ信号の前記時間周波数ポイントに対応する重み付け共分散行列を取得し、前記重み付け共分散行列は、オーディオ信号におけるターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものである。空間スペクトル重み付けモジュール１４５０は、前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得る。方位角位置決めモジュール１４６０は、前記空間スペクトルからオーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得ることに使用されることができる。
【０１８７】
オプションとして、本願の実施例はまた、オーディオインタラクションデバイスを提供し、このオーディオインタラクションデバイスは、図１に示す実施環境において使用されることができ、図３、図５、図６、図７、図８および図９のいずれかに示す方法の全部または一部のステップを実行し、前記デバイスは、
プロセッサと、
プロセッサ実行可能命令を記憶するためのメモリと、を備える。
【０１８８】
ここで、前記プロセッサは、前述した方法を実行するように構成される。
【０１８９】
本実施例におけるデバイスのプロセッサが動作を実行する具体的な方法は、関連する前述の実施例に詳細に説明されたが、ここでは詳細には説明されない。
【０１９０】
各実施例におけるハードウェアモジュールは、ハードウェアの方式またはハードウェアプラットフォームプラスソフトウェアの方式で実装されるようにしてよい。上記のソフトウェアは、不揮発性記憶媒体に記憶されている機器可読命令を含む。したがって、各実施例は、ソフトウェア製品として具現化されるようにしてもよい。
【０１９１】
各例では、ハードウェアは、専門のハードウェアまたは機器可読命令を実行するハードウェアによって実現されるようにしてよい。例えば、ハードウェアは、特定の動作を完了するために、専門的に設計された永久回路または論理デバイス（例えば、ＦＰＧＡやＡＳＩＣなどの専用プロセッサ）とするようにしてよい。ハードウェアは、特定の動作を実行するために、ソフトウェアによって一時的に配置されたプログラマブル論理デバイスまたは回路（例えば、汎用プロセッサまたは他のプログラマブルプロセッサを含む）を含むようにしてよい。
【０１９２】
図中のモジュールに対応する機器可読命令は、コンピュータ上で動作するオペレーティングシステムなどに、ここで説明された一部または全部の動作を完了させることができる。不揮発性コンピュータ読み取り可能な記憶媒体は、コンピュータ内の拡張ボードに設定されたメモリに挿入されるか、またはコンピュータに接続された拡張ユニットに設定されたメモリに書き込まれることができる。拡張ボードや拡張ユニットに取り付けられたＣＰＵなどは、命令に従って、一部または全部の実際の動作を実行するようにしてもよい。
【０１９３】
不揮発性コンピュータ読み取り可能な記憶媒体は、ソフトディスク、ハードディスク、磁気ディスク、光ディスク（例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性メモリカード、およびＲＯＭを含む。オプションとして、プログラムコードは、通信ネットワークによってサーバコンピュータからダウンロードされるようにしてよい。
【０１９４】
本願の実施例は、上記で説明されて添付図面に示された正確な構造に限定されるものではなく、また、その範囲を逸脱しない前提で、様々な補正や変更が実行され得る、ということが理解されるべきである。本願の実施例の範囲は、添付の特許請求の範囲によってのみ制限される。
【符号の説明】
【０１９５】
110  オーディオインタラクションデバイス
111  ボタン
112  ピックアップマイクロホン
113  メインボード
114  メイン制御チップ
115  ブルートゥース（登録商標）チップ
116  ＷｉＦｉチップ
117  放熱シート
1110  情報取得モジュール
1111  時間周波数分析ユニット
1113  パラメータ推定ユニット
1115  重みマッピングユニット
1120  エコー除去モジュール
1121  エコー除去モジュール
1123  時間周波数分析モジュール
1130  重み演算モジュール
1140  行列構築モジュール
1150  空間スペクトル演算モジュール
1160  方位角決定モジュール
1201  マッピング取得ユニット
1203  重み付けユニット
1410  オーディオ取得モジュール
1420  エコー除去処理モジュール
1430  時間周波数ポイント演算モジュール
1440  行列演算モジュール
1450  空間スペクトル重み付けモジュール
1460  方位角位置決めモジュール
1470  位置決定モジュール
【図１】
2021533423.tif 000014
【図２】
2021533423.tif 000015
【図３ａ】
2021533423.tif 000016
【図３ｂ】
2021533423.tif 000017
【図４】
2021533423.tif 000018
【図５】
2021533423.tif 000019
【図６】
2021533423.tif 000020
【図７】
2021533423.tif 000021
【図８】
2021533423.tif 000022
【図９】
2021533423.tif 000023
【図１０】
2021533423.tif 000024
【図１１】
2021533423.tif 000025
【図１２】
2021533423.tif 000026
【図１３】
2021533423.tif 000027
【図１４】
2021533423.tif 000028
【図１５】
2021533423.tif 000029
【図１６】
2021533423.tif 000030
【手続補正書】
【提出日】令和3年2月10日(2021.2.10)
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ認識装置が実行するオーディオ認識方法であって、
空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得るステップと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うステップと、
を含むことを特徴とするオーディオ認識方法。
【請求項２】
前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップは、
前記重みおよびエコー除去後の前記オーディオ信号の時間周波数領域表現により、前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップであって、前記重み共分散行列が、前記オーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を記述するために使用されるものであるステップと、
前記重み付け共分散行列によって空間スペクトルの重み付け演算を行い、前記オーディオ信号が時間周波数ポイントに応じて重み付けされた空間スペクトルを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップは、
前記オーディオ信号の時間周波数領域表現を取得するステップと、
オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップと、
前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記オーディオ特徴パラメータは、前記時間周波数領域表現の時間周波数ポイントでの信号対雑音比推定値を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
オーディオ信号の時間周波数領域表現に対して、各時間周波数ポイントでの信号対雑音比推定値を推定するステップであって、前記信号対雑音比推定値は、マッピングによって前記オーディオ信号の時間周波数ポイントでの重みを得るために使用されるものであるステップ、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記オーディオ特徴パラメータは、複数のタイプがあり、前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップは、
時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するステップと、
取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得るステップと、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項６】
前記オーディオ特徴パラメータは、時間周波数領域表現の時間周波数ポイントでのダイレクト対残響信号強度比、残留エコー信号推定値、および前記時間周波数ポイントがターゲットウェイクワードに対応する確率のうちの少なくとも１つまたは任意の組合せ、をさらに含む、
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記オーディオ特徴パラメータは、前記時間周波数ポイントがターゲットウェイクワードに対応する確率を含み、前記オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うステップは、
前記オーディオ信号におけるターゲットウェイクワードを検出し、検出された前記ターゲットウェイクワードに対して、所在する時間周波数ポイントを推定し、各時間周波数ポイントがターゲットウェイクワードに対応する確率を得るステップ、を含む、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記複数の時間周波数ポイントにおける各時間周波数ポイントでの重み付け共分散行列を取得するステップは、
時間周波数ポイントで前記オーディオ信号の時間周波数領域表現および重みによって重み付け演算を行い、前記重み付け共分散行列における、前記時間周波数ポイントに対応する重み付け要素値を得、時間周波数ポイントに対応する重み付け要素値のすべてが前記重み付け共分散行列を構成するステップ、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項９】
前記オーディオ信号に対してエコー除去処理を行うステップは、
オーディオインタラクションデバイスにおいてエコー参照信号を取得し、前記エコー参照信号によって、マイクロフォンで収集された前記オーディオ信号に対して線形エコー除去を行うステップと、
前記オーディオ信号のエコー除去後に、時間周波数分析を行い、前記エコー除去後のオーディオ信号の時間周波数領域表現を得るステップと、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
オーディオインタラクションデバイスがターゲットオーディオを位置決める方法であって、
オーディオインタラクションデバイスは、空間内の複数の方向のオーディオ信号を取得するステップであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むステップと、
前記オーディオ信号に対してエコー除去処理を行うステップと、
オーディオインタラクションデバイスは、前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得するステップであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものであるステップと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得るステップと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得るステップと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決めるステップと、
を含むことを特徴とする位置決め方法。
【請求項１１】
オーディオ認識装置であって、
空間内の複数の方向のオーディオ信号を取得する信号取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含む信号取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する重み演算モジューであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである重み演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル演算モジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、前記オーディオ信号における前記ターゲットオーディオダイレクト信号に対応する音源方位角を得る方位角決定モジュールと、
前記ターゲットオーディオダイレクト信号に対応する音源方位角に基づいて、オーディオ認識を行うオーディオ認識モジュールと、
を備えることを特徴とするオーディオ認識装置。
【請求項１２】
前記重み演算モジュールは、
前記オーディオ信号の時間周波数領域表現を取得する時間領域分析ユニットと、
オーディオ信号の時間周波数領域表現に対して、時間周波数ポイントに応じてオーディオ特徴パラメータの推定を行うパラメータ推定ユニットと、
前記時間周波数ポイントに対応するオーディオ特徴パラメータに基づいて、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重みマッピングユニットと、を備える、
ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記オーディオ特徴パラメータは、複数のタイプがあり、前記重みマッピングユニットは、
時間周波数ポイントでの、オーディオ信号の時間周波数領域表現の異なるオーディオ特徴パラメータによってそれぞれマッピングされた重みを取得するマッピング取得ユニットと、
取得された前記重みに対して重み付け演算を行い、前記オーディオ信号の前記時間周波数ポイントでの重みを得る重み付けユニットと、を備える、
ことを特徴とする請求項１２に記載の装置。
【請求項１４】
オーディオインタラクションデバイスがターゲットオーディオを位置決める装置であって、
空間内の複数の方向のオーディオ信号を取得するオーディオ取得モジュールであって、前記オーディオ信号は、ターゲットオーディオダイレクト信号を含むオーディオ取得モジュールと、
前記オーディオ信号に対してエコー除去処理を行うエコー除去処理モジュールと、
前記オーディオ信号の特徴を使用して、エコー除去後の前記オーディオ信号の複数の時間周波数ポイントでの重みを取得する時間周波数ポイント演算モジュールであって、各時間周波数ポイントでの重みは、前記時間周波数ポイントでの、前記エコー除去後のオーディオ信号における前記ターゲットオーディオダイレクト信号の相対的な割合を示すものである時間周波数ポイント演算モジュールと、
前記複数の方向における各方向のオーディオ信号に対して、前記複数の時間周波数ポイントでの重みを使用して、前記オーディオ信号の前記複数の時間周波数ポイントでの時間周波数成分をそれぞれ重み付けて、前記各方向のオーディオ信号の重み付け信号エネルギーを得る空間スペクトル重み付けモジュールと、
前記各方向のオーディオ信号の重み付け信号エネルギーを使用して、オーディオインタラクションにおけるターゲットオーディオに対応する音源方位角を得る方位角位置決めモジュールと、
前記音源方位角によって前記オーディオインタラクションにおけるターゲットオーディオの音源位置を位置決める位置決定モジュールと、
を備えることを特徴とする位置決め装置。
【請求項１５】
オーディオインタラクションデバイスであって、
プロセッサと、メモリとを備え、
前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサによって実行される場合、請求項１〜１０のいずれか１項に記載の方法を実現する、
ことを特徴とするオーディオインタラクションデバイス。
【請求項１６】
コンピュータプログラムであって、
請求項１〜１０のいずれか１項に記載の方法を、オーディオインタラクションデバイスに実行させる、
ことを特徴とするコンピュータプログラム。
【国際調査報告】
2021533423.tif 000031
2021533423.tif 000032
2021533423.tif 000033
2021533423.tif 000034