(57)【特許請求の範囲】
【請求項１】
クライアントデバイスにおいて環境音を認識するための方法であって、
環境音の複数の音モデルと複数のラベルとを含むクライアントデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を受信し、前記入力環境音に基づいて、入力音モデルを生成することと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する前記クライアントデータベースからの１つまたは複数の音モデルを特定することと、
１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、前記１つまたは複数のラベルから１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、
を備える方法。
【請求項２】
前記入力音モデルは、前記入力環境音から抽出された音の特徴に基づいて生成される、請求項１に記載の方法。
【請求項３】
前記選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項１に記載の方法。
【請求項４】
前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルが、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項３に記載の方法。
【請求項５】
前記１つのラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を備える、請求項１に記載の方法。
【請求項６】
前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルが、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項５に記載の方法。
【請求項７】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項１に記載の方法。
【請求項８】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定することをさらに備え、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項１に記載の方法。
【請求項９】
前記信頼性レベルが所定の信頼性しきい値未満である場合、
前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、をさらに備える、請求項１に記載の方法。
【請求項１０】
前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することと、
前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記クライアントデータベースを更新することと、をさらに備える、請求項９に記載の方法。
【請求項１１】
前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを受信することと、
前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記クライアントデータベースを更新することと、をさらに備える、請求項１０に記載の方法。
【請求項１２】
前記クライアントデータベースを更新することは、
前記受信されたラベルを前記クライアントデバイスのユーザに提供することと、
前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することと、
前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することと、を備える、請求項１０に記載の方法。
【請求項１３】
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することをさらに備え、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、請求項１に記載の方法。
【請求項１４】
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定された前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを備える、請求項１３に記載の方法。
【請求項１５】
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項１３に記載の方法。
【請求項１６】
サーバで、クライアントデバイスから受信された入力環境音を認識するための方法であって、
環境音の複数の音モデルと複数のラベルとを含むサーバデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する、前記サーバデータベースからの１つまたは複数の音モデルを特定することと、
前記複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、１つまたは複数のラベルから１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、を備える方法。
【請求項１７】
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、
前記選択されたラベルと前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供すること、をさらに備える、請求項１６に記載の方法。
【請求項１８】
前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供することをさらに備える、請求項１７に記載の方法。
【請求項１９】
前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信することと、
前記ユーザからの前記入力を用いて、前記サーバデータベースを更新することと、をさらに備える、請求項１７に記載の方法。
【請求項２０】
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信することをさらに備え、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを備える、請求項１７に記載の方法。
【請求項２１】
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理すること、を備える、請求項２０に記載の方法。
【請求項２２】
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項２０に記載の方法。
【請求項２３】
前記信頼性レベルが前記所定の信頼性しきい値未満である場合、
前記入力環境音の認識における失敗の標示を、前記クライアントデバイスに提供することと、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、
前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることと、をさらに備える、請求項２０に記載の方法。
【請求項２４】
前記入力音モデルと前記特定された音モデルとの間の前記類似性が、前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶すること、をさらに備える、請求項２３に記載の方法。
【請求項２５】
前記選択された１つのラベルが、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項１６に記載の方法。
【請求項２６】
前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記音モデルの前記類似性値の合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項２５に記載の方法。
【請求項２７】
前記１つのラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化すること、ここにおいて、前記特定された音モデルの各々のセットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を備える、請求項１６に記載の方法。
【請求項２８】
前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項２７に記載の方法。
【請求項２９】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項１６に記載の方法。
【請求項３０】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定することをさらに備え、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項１６に記載の方法。
【請求項３１】
環境音を認識するためのデバイスであって、
環境音の複数の音モデルと複数のラベルとを記憶するように構成されたクライアントデータベース、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を取り込むように構成された音センサと、
前記入力環境音から入力音モデルを生成することと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する前記クライアントデータベースからの１つまたは複数の音モデルを特定することと、
１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、前記１つまたは複数のラベルから、１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、
を行うように構成された、音認識ユニットと
を備えるデバイス。
【請求項３２】
前記選択された１つのラベルが、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項３１に記載のデバイス。
【請求項３３】
前記音認識ユニットは、前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項３２に記載のデバイス。
【請求項３４】
前記音認識ユニットは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を行うようにさらに構成される、請求項３１に記載のデバイス。
【請求項３５】
前記音認識ユニットは、前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定するようにさらに構成され、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項３４に記載のデバイス。
【請求項３６】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項３１に記載のデバイス。
【請求項３７】
前記入力音モデルとの最大の類似性値を有する音モデルが、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
前記音認識ユニットは、認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定するようにさらに構成され、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項３１に記載のデバイス。
【請求項３８】
前記信頼性レベルが所定の信頼性しきい値未満である場合、前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、を行うように構成された通信ユニットをさらに備える、請求項３１に記載のデバイス。
【請求項３９】
前記通信ユニットが、前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することを行うようにさらに構成され、
前記デバイスは、前記サーバから受信された前記ラベルと前記音モデルとを用いて前記クライアントデータベースを更新するように構成されたデータベース更新ユニットをさらに備える、請求項３８に記載のデバイス。
【請求項４０】
前記通信ユニットは、前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを受信することを行うようにさらに構成され、
前記データベース更新ユニットは、前記サーバからの前記場所および時間のうちの少なくとも１つを用いて前記クライアントデータベースを更新することを行うようにさらに構成される、請求項３９に記載のデバイス。
【請求項４１】
前記受信されたラベルをクライアントデバイスのユーザに提供することと、前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することと
を行うように構成された、ユーザインターフェースをさらに備え、
前記データベース更新ユニットは、前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することを行うようにさらに構成される、請求項３９に記載のデバイス。
【請求項４２】
前記通信ユニットは、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することを行うようにさらに構成され、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所情報および時間のうちの少なくとも１つを備える、請求項３８に記載のデバイス。
【請求項４３】
前記音認識ユニットは、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを行うようにさらに構成される、請求項４２に記載のデバイス。
【請求項４４】
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項４２に記載のデバイス。
【請求項４５】
クライアントデバイスから受信された入力環境音を認識するためのサーバであって、
環境音の複数の音モデルと複数のラベルとを記憶するように構成されたサーバデータベース、各ラベルは、少なくとも１つの前記音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することを行うように構成された、通信ユニットと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する前記サーバデータベースからの１つまたは複数の音モデルを特定することと、
前記複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、１つまたは複数のラベルから、１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、
を行うように構成された、音認識ユニットと
を備えるサーバ。
【請求項４６】
前記通信ユニットは、前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供することを行うようにさらに構成される、請求項４５に記載のサーバ。
【請求項４７】
前記通信ユニットは、前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供することを行うようにさらに構成される、請求項４６に記載のサーバ。
【請求項４８】
前記通信ユニットは、さらに、前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信するためのものであり、
前記サーバは、前記ユーザからの前記入力を用いて前記サーバデータベースを更新するように構成されたデータベース更新ユニットをさらに備える、請求項４６に記載のサーバ。
【請求項４９】
前記通信ユニットは、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信することを行うようにさらに構成され、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、請求項４６に記載のサーバ。
【請求項５０】
前記音認識ユニットは、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理するようにさらに構成される、請求項４９に記載のサーバ。
【請求項５１】
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項４９に記載のサーバ。
【請求項５２】
前記通信ユニットは、前記信頼性レベルが前記所定の信頼性しきい値未満である場合、前記入力環境音の認識における失敗の標示を前記クライアントデバイスに提供することを行うようにさらに構成され、
前記音認識ユニットは、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、を行うようにさらに構成され、
前記データベース更新ユニットは、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることを行うようにさらに構成される、請求項４９に記載のサーバ。
【請求項５３】
前記データベース更新ユニットは、前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶することを行うようにさらに構成される、請求項５２に記載のサーバ。
【請求項５４】
前記選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項４５に記載のサーバ。
【請求項５５】
前記音認識ユニットは、前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項５４に記載のサーバ。
【請求項５６】
前記音認識ユニットは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を行うようにさらに構成される、請求項４５に記載のサーバ。
【請求項５７】
前記音認識ユニットは、前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項５６に記載のサーバ。
【請求項５８】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項４５に記載のサーバ。
【請求項５９】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
前記音認識ユニットは、認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定するようにさらに構成され、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項４５に記載のサーバ。
【請求項６０】
クライアントデバイスにおいて環境音を認識するための命令を備えるコンピュータ可読媒体であって、前記命令がプロセッサに、
環境音の複数の音モデルと複数のラベルとを含む、クライアントデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を受信し、前記入力環境音に基づいて、入力音モデルを生成することと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する前記クライアントデータベースからの１つまたは複数の音モデルを特定することと、
１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、前記１つまたは複数のラベルから１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、
の動作を行わせる、コンピュータ可読媒体。
【請求項６１】
前記選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項６０に記載の媒体。
【請求項６２】
前記命令は、プロセッサに、前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択する動作をさらに行わせ、  前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項６１に記載の媒体。
【請求項６３】
前記１つのラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を備える、請求項６０に記載の媒体。
【請求項６４】
前記命令は、プロセッサに、前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定する前記動作をさらに行わせ、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項６３に記載の媒体。
【請求項６５】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された前記選択された１つのラベルのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項６０に記載の媒体。
【請求項６６】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
前記命令は、プロセッサに、認識の精度を向上するために、前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定する前記動作をさらに行わせ、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項６０に記載の媒体。
【請求項６７】
前記動作は、
前記信頼性レベルが所定の信頼性しきい値未満である場合、
前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、
をさらに備える、請求項６０に記載の媒体。
【請求項６８】
前記動作は、
前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することと、
前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記クライアントデータベースを更新することと、をさらに備える、請求項６７に記載の媒体。
【請求項６９】
前記動作は、
前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを、前記サーバから受信することと、
前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記クライアントデータベースを更新することと、
をさらに備える、請求項６８に記載の媒体。
【請求項７０】
前記クライアントデータベースを更新することは、
前記受信されたラベルを前記クライアントデバイスのユーザに提供することと、
前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することと、
前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することと、
を備える、請求項６８に記載の媒体。
【請求項７１】
前記動作は、
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することをさらに備え、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、請求項６０に記載の媒体。
【請求項７２】
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを備える、請求項７１に記載の媒体。
【請求項７３】
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項７１に記載の媒体。
【請求項７４】
サーバで、クライアントデバイスから受信された入力環境音を認識するための命令を備えるコンピュータ可読媒体であって、前記命令がプロセッサに、
環境音の複数の音モデルと複数のラベルとを含む、サーバデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することと、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似する前記サーバデータベースからの１つまたは複数の音モデルを特定することと、
１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの類似性値の合計を計算することによって、前記１つまたは複数のラベルから、１つのラベルを選択することと、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定することと、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けることと、
の動作を行わせる、コンピュータ可読媒体。
【請求項７５】
前記動作は、
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、
前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供すること、
をさらに備える、請求項７４に記載の媒体。
【請求項７６】
前記動作は、
前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供すること、
をさらに備える、請求項７５に記載の媒体。
【請求項７７】
前記動作は、
前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信することと、
前記ユーザからの前記入力を用いて、前記サーバデータベースを更新することと、
をさらに備える、請求項７５に記載の媒体。
【請求項７８】
前記動作は、
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信すること、
をさらに備え、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを備える、請求項７５に記載の媒体。
【請求項７９】
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理すること、
を備える、請求項７８に記載の媒体。
【請求項８０】
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルが、前記以前の発生情報に基づいて特定される、請求項７８に記載の媒体。
【請求項８１】
前記動作は、
前記信頼性レベルが前記所定の信頼性しきい値未満である場合、
前記入力環境音の認識における失敗の標示を前記クライアントデバイスに提供することと、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、を、
前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることと、をさらに備える、請求項７８に記載の媒体。
【請求項８２】
前記動作は、
前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶すること、をさらに備える、請求項８１に記載の媒体。
【請求項８３】
前記選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項７４に記載の媒体。
【請求項８４】
前記命令は、プロセッサに、前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択する前記動作をさらに行わせ、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項８３に記載の媒体。
【請求項８５】
前記１つのラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を備える、請求項７４に記載の媒体。
【請求項８６】
前記命令は、プロセッサに、前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定する前記動作をさらに行わせ、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項８５に記載の媒体。
【請求項８７】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項７４に記載の媒体。
【請求項８８】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定されるものであり、
前記命令は、プロセッサに、認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定する前記動作をさらに行わせ、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項７４に記載の媒体。
【請求項８９】
環境音を認識するための装置であって、
環境音の複数の音モデルと複数のラベルとを記憶するための手段、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を取り込むための手段と、
前記入力環境音から入力音モデルを生成するための手段と、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似するクライアントデータベースからの１つまたは複数の音モデルを特定するための手段と、
１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記１つまたは複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、前記１つまたは複数のラベルから、１つのラベルを選択するための手段と、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定するための手段と、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けるための手段と、を備える装置。
【請求項９０】
前記選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項８９に記載の装置。
【請求項９１】
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択するための手段をさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項９０に記載の装置。
【請求項９２】
前記選択手段は、前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化すること、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、と、
前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定することと、
前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択することと、
を行う、請求項８９に記載の装置。
【請求項９３】
前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定するための手段をさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項９２に記載の装置。
【請求項９４】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項８９に記載の装置。
【請求項９５】
前記入力音モデルとの最大の類似性値を有する音モデルが、前記選択されたラベルに関連付けられた前記音モデルの中で特定されるものであり、
認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定するための手段をさらに備え、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項８９に記載の装置。
【請求項９６】
前記信頼性レベルが所定の信頼性しきい値未満である場合、前記入力環境音を認識するために、前記入力音モデルをサーバへ送信するための手段と、
前記サーバから、前記入力環境音を特定するラベルを受信するための手段と、をさらに備える、請求項８９に記載の装置。
【請求項９７】
前記受信手段は、前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルをさらに受信し、
前記装置は、前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記記憶手段を更新するための手段をさらに備える、請求項９６に記載の装置。
【請求項９８】
前記受信手段は、前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに受信し、
前記更新手段は、前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記記憶手段をさらに更新する、請求項９７に記載の装置。
【請求項９９】
前記受信されたラベルを前記装置のユーザに提供し、前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信するための手段をさらに備え、
前記更新手段は、前記ユーザからの前記入力に基づいて、前記記憶手段をさらに更新する、請求項９７に記載の装置。
【請求項１００】
前記受信手段は、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つをさらに受信し、
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた場所情報および時間のうちの少なくとも１つをさらに記憶する、請求項９６に記載の装置。
【請求項１０１】
前記決定手段は、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記記憶手段における前記複数の音モデルをフィルタ処理する、請求項１００に記載の装置。
【請求項１０２】
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記記憶手段からの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項１００に記載の装置。
【請求項１０３】
クライアントデバイスから受信された入力環境音を認識するためのコンピュータシステムであって、
環境音の複数の音モデルと複数のラベルとを記憶するための手段、各ラベルは、少なくとも１つの前記音モデルを特定する、と、
入力環境音を表す入力音モデルを前記クライアントデバイスから受信するための手段と、
前記入力音モデルと前記音モデルの各々との間の類似性値を決定することによって、前記入力音モデルに類似するサーバデータベースからの１つまたは複数の音モデルを特定するための手段と、
前記複数のラベルの各々に関連付けられた前記特定された音モデルの数を決定することによって、または、前記複数のラベルの各々に関連付けられた前記特定された音モデルの前記類似性値の合計を計算することによって、前記１つまたは複数のラベルから、１つのラベルを選択するための手段と、
前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に少なくとも基づいて、前記選択された１つのラベルの信頼性レベルを決定するための手段と、
前記選択された１つのラベルの前記信頼性レベルに基づいて、前記選択された１つのラベルを前記入力環境音に関連付けるための手段と、を備えるコンピュータシステム。
【請求項１０４】
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供するための手段をさらに備える、請求項１０３に記載のコンピュータシステム。
【請求項１０５】
前記提供手段が、前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスにさらに提供する、請求項１０４に記載のコンピュータシステム。
【請求項１０６】
前記受信手段は、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスからさらに受信し、
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに記憶する、請求項１０４に記載のコンピュータシステム。
【請求項１０７】
前記決定手段は、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記記憶手段の前記複数の音モデルをフィルタ処理する、請求項１０６に記載のコンピュータシステム。
【請求項１０８】
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに記憶し、
前記記憶手段からの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、請求項１０６に記載のコンピュータシステム。
【請求項１０９】
前記提供手段が、前記信頼性レベルが前記所定の信頼性しきい値未満である場合、前記入力環境音の認識における失敗の標示を前記クライアントデバイスにさらに提供し、
前記決定手段は、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットをさらに特定し、前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定し、
更新手段が、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとをマージする、請求項１０６に記載のコンピュータシステム。
【請求項１１０】
前記更新手段は、前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記記憶手段に記憶する、請求項１０９に記載のコンピュータシステム。
【請求項１１１】
選択された１つのラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、請求項１０３に記載のコンピュータシステム。
【請求項１１２】
前記特定された音モデルからの２番目に多数の音モデルに関連付けられた別のラベルを選択することをさらに備え、
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記音モデルの前記類似性値の前記合計と、前記別のラベルに関連付けられた前記特定された音モデルの前記類似性値の合計との間の差に基づいて決定される、請求項１１１に記載のコンピュータシステム。
【請求項１１３】
前記選択手段は、前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数のセットにグループ化し、ここにおいて、前記特定された音モデルの各セットは一意のラベルに関連付けられる、前記一意のラベルに関連付けられた前記特定された音モデルの前記セットの各々における前記特定された音モデルの前記類似性値の合計を計算し、前記類似性値の最大の合計を決定し、前記最大の合計を有する前記特定された音モデルの前記セットのうちの１つに関連付けられた前記１つのラベルを選択する、請求項１０３に記載のコンピュータシステム。
【請求項１１４】
前記特定された音モデルの前記類似性値の前記合計の中で２番目に大きい合計を特定するための手段をさらに備え、前記選択された１つのラベルの前記信頼性レベルが、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、請求項１１３に記載のコンピュータシステム。
【請求項１１５】
前記選択された１つのラベルの前記信頼性レベルは、前記選択された１つのラベルに関連付けられた前記特定された音モデルの前記類似性値の合計に基づいて決定される、請求項１０３に記載のコンピュータシステム。
【請求項１１６】
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択された１つのラベルに関連付けられた前記音モデルの中で特定され、
認識の精度を向上するために、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性を決定するための手段をさらに備え、ここで、前記関連付けられた反モデルは、前記選択されたラベルが誤っていると決定された音モデルに基づいてあらかじめ決定される、請求項１０３に記載のコンピュータシステム。
【請求項１１７】
前記受信手段は、前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力をさらに受信し、
前記コンピュータシステムは、前記ユーザからの前記入力を用いて、前記サーバデータベースを更新するための手段をさらに備える、請求項１０４に記載のコンピュータシステム。
【発明の詳細な説明】
【米国特許法第１１９条に基づく優先権の主張】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１１年３月４日に出願された米国仮特許出願第６１／４４９，４７５号に基づくものであり、その優先権の利益を主張する。
【技術分野】
【０００２】
本開示は、一般に音声認識に関する。より詳細には、本開示は、サーバと通信しているクライアントデバイスの環境音を認識するためのシステムおよび方法に関する。
【背景技術】
【０００３】
音ベースの環境認識技術は、ユーザサービスを提供するための現代のモバイル通信システムにおいて使用されている。たとえば、モバイルデバイスなどのデバイスは、周囲の音を検出し、デバイスの周囲の音声環境を認識するように構成され得る。認識された音声環境は、デバイスのユーザに、広告情報およびソーシャルネットワーキング情報など、ターゲットにされた情報を提供するために使用され得る。
【０００４】
毎日の生活の中で、モバイルデバイスユーザは、多数の異なる音声環境にさらされることがある。多くの場合、デバイスは、記憶容量または処理能力が限られるために、音声環境データを記憶または処理することが可能でないことがある。さらに、デバイスが、その周囲の、周囲の音のみを認識するために使用される場合、デバイスは、新しい周囲の、周囲の音を正確に認識できないことがある。たとえば、モバイルデバイスが、休暇のリゾートなど、新しい場所で周囲の音を取り込み、認識するために使用される場合、デバイスは、周囲の音声環境を正確に認識しないことがある。
【０００５】
加えて、ユーザは、自分のモバイルデバイスを、教室、会議室、集会場など、類似する音声環境へ携帯することがある。そのような場合、モバイルデバイスは、異なる音声環境を区別し、正確に認識できないことがある。
【０００６】
したがって、モバイルデバイスが、環境音認識の精度を高めながら、そのデバイスにとって利用可能であり得るよりも広い範囲の環境音を認識できるようにする、方法および装置が必要である。
【発明の概要】
【０００７】
本開示は、サーバと通信しているデバイスの環境音を認識するためのシステムおよび方法を提供する。
【０００８】
本開示の一態様によれば、クライアントデバイスにおいて環境音を認識するための方法が開示される。本方法は、環境音の複数の音モデルと、各々が少なくとも１つの音モデルを特定する複数のラベルとを含む、クライアントデータベースを提供することを含む。入力環境音が受信され、入力環境音に基づいて、入力音モデルが生成される。入力音モデルと音モデルの各々との間の類似性値が決定されて、入力音モデルに類似する、クライアントデータベースからの１つまたは複数の音モデルが特定される。さらに、特定された音モデルに関連付けられたラベルから、ラベルが選択される。選択されたラベルの信頼性レベルに基づいて、選択されたラベルが入力環境音に関連付けられる。本開示はまた、本方法に関係するデバイス、装置、手段の組合せ、およびコンピュータ可読媒体についても説明する。
【０００９】
本開示の別の態様によれば、サーバで、クライアントデバイスから受信された環境音を認識するための方法が開示される。本方法は、環境音の複数の音モデルと、各々が少なくとも１つの音モデルを特定する複数のラベルとを含む、サーバデータベースを提供することを含む。本方法は、入力環境音を表す入力音モデルを、クライアントデバイスから受信することをさらに含む。入力音モデルと音モデルの各々との間の類似性値が決定されて、入力音モデルに類似する、サーバデータベースからの１つまたは複数の音モデルが特定される。次いで、特定された音モデルに関連付けられたラベルから、ラベルが選択される。選択されたラベルの信頼性レベルに基づいて、選択されたラベルが入力環境音に関連付けられる。本開示はまた、本方法に関係するサーバ、コンピュータシステム、手段の組合せ、およびコンピュータ可読媒体についても説明する。
【図面の簡単な説明】
【００１０】
【図１】図１は、ネットワークを介して通信する複数のクライアントデバイスとサーバとを含む、例示的なシステムを示す。
【図２】図２は、本開示の一実施形態による、環境音を認識するためのクライアントデバイスの例示的な構成を示す。
【図３】図３は、本開示の一実施形態による、環境音を認識するためのサーバの例示的な構成を示す。
【図４Ａ】図４Ａは、本開示の一実施形態による、環境音を認識するための、クライアントデバイスによって実行される方法のフローチャートを示す。
【図４Ｂ】図４Ｂは、本開示のいくつかの実施形態による、入力環境音のためのラベルを選択し、そのラベルの信頼性レベルを決定するための、図４Ａの４０８のより詳細なフローチャートである。
【図４Ｃ】図４Ｃは、本開示のいくつかの実施形態による、入力環境音のためのラベルを選択し、そのラベルの信頼性レベルを決定するための、図４Ａの４０８のより詳細なフローチャートである。
【図４Ｄ】図４Ｄは、本開示のいくつかの実施形態による、入力環境音のためのラベルを選択し、そのラベルの信頼性レベルを決定するための、図４Ａの４０８のより詳細なフローチャートである。
【図５】図５は、本開示の一実施形態による、入力環境音から抽出された特徴ベクトルに基づいてヒストグラムを構築することによって、音モデルを生成するための方法のフローチャートを示す。
【図６】図６は、本開示の一実施形態による、入力環境音に関連付けられた情報を使用することによって入力環境音を認識するための、クライアントデバイスによって実行される方法のフローチャートを示す。
【図７】図７は、場所依存および／または時間依存の音モデルのデータベース構造の概略図である。
【図８】図８は、本開示の一実施形態による、音モデルと音モデルに関連付けられた情報との例示的なクライアントデータベースまたはサーバデータベースを示す。
【図９】図９は、本開示の一実施形態による、環境音を認識するための、サーバによって実行される方法のフローチャートを示す。
【図１０】図１０は、本開示の一実施形態による、音モデルに関連付けられた場所および／または時間情報を使用することによって、音モデルのデータベースを更新するための方法のフローチャートを示す。
【図１１】図１１は、ワイヤレス通信システムにおける例示的なモバイルデバイスの構成を示す。
【詳細な説明】
【００１１】
次に、図面全体にわたって、同様の要素を指すのに同様の参照符号を使用する図面を参照しながら、様々な実施形態について説明する。以下の記述では、説明の目的で、１つまたは複数の実施形態の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、そのような（１つまたは複数の）実施形態は、これらの具体的な詳細なしに実施できることは明らかであろう。他の例では、１つまたは複数の実施形態の説明を円滑にするために、よく知られている構造およびデバイスをブロック図の形態で示す。
【００１２】
図１は、ネットワーク１４０を介して通信する、複数のクライアントデバイス１２０、１５０、１６０、１７０、および１８０と、サーバ１３０とを含む、例示的なシステム１００を示す。クライアントデバイス１２０、１５０、１６０、１７０、および１８０の各々は、環境音を認識するための音モデルのデータベースを記憶するように構成される。サーバ１３０は、クライアントデバイス１２０、１５０、１６０、１７０、および１８０のいずれか１つに提供され得る、音モデルのデータベースを記憶する。クライアントデバイス１２０、１５０、１６０、１７０、および１８０の各々は、音センサ（たとえば、マイクロフォン）を通して周囲の環境音（すなわち、入力環境音）を取り込み、記憶されたデータベースに基づいて、環境音を認識して、取り込まれた環境音のためのラベルを生成するように構成される。いずれかのクライアントデバイスがその取り込まれた音を認識することができない場合、そのデバイスは、音を認識するように、サーバ１３０へ要求を送る。サーバ１３０は、１つまたは複数のクライアントデバイスから環境音を受信し、関連付けられるラベルを生成することによって、環境音を認識するように構成される。それらのラベルは次いで、要求側クライアントデバイスへ送信される。
【００１３】
本開示は、クライアントデバイス１２０、１５０、１６０、１７０、および１８０のいずれかからの音モデルを集積（aggregate）し、集積された音モデルをクライアントデバイス１２０、１５０、１６０、１７０、および１８０の間で共有する、クラウドソーシングフレームワークにおいて実施され得る。クラウドソーシングフレームワークは、サーバ１３０と音モデルを共有することによって、クライアントデバイス１２０、１５０、１６０、１７０、および１８０の音認識精度を向上させる。
【００１４】
クライアントデバイス１２０、１５０、１６０、１７０、および１８０は、たとえば、マイクロフォンなどの音取り込み機能と、データおよび／または通信ネットワークを通した通信機能とを備えた、携帯電話、ラップトップ、車の付属品など、任意の好適なモバイルデバイスであってもよい。代替として、クライアントデバイス１２０、１５０、１６０、１７０、および１８０は、防犯カメラ、デスクトップコンピュータなど、特定の場所に固定された任意のデバイスであってもよい。
【００１５】
図２は、本開示の一実施形態による、環境音を認識するためのクライアントデバイス１２０の例示的な構成を示す。クライアントデバイス１２０は、音センサ２１０と、音認識ユニット２２０と、通信ユニット２３０と、ユーザインターフェース２４０と、データベース更新ユニット２５０と、クライアントデータベース２６０とを含む。クライアントデバイス１２０を図２に示すが、他のクライアントデバイス１５０、１６０、１７０、および１８０は、同様の構成を実装することができる。クライアントデバイス１２０内の上述のユニットは、ハードウェア、１つもしくは複数のプロセッサにおいて実行されるソフトウェア、および／またはそれらの組合せによって実装され得る。
【００１６】
音センサ２１０は、入力環境音を取り込むように構成される。音センサ２１０は、たとえば、１つもしくは複数のマイクロフォン、または、クライアントデバイス１２０の環境音のいずれかの態様を測定、記録、または場合によっては搬送するために使用される、任意の他のタイプの音センサを含み得る。そのような音センサ２１０は、クライアントデバイス１２０における音取り込み機能のために適合されたソフトウェアおよび／またはハードウェアを採用することができる。音センサ２１０はまた、電話通話またはビデオ記録のために使用される、クライアントデバイス１２０内に設けられたマイクロフォンであってもよい。
【００１７】
一実施形態では、クライアントデバイス１２０は、音センサ２１０を介して常に環境音を検出するためのバックグラウンドプロセスを実行するように構成され得る。代替として、クライアントデバイス１２０は、所定の時間に、所定の間隔で、またはユーザのコマンドに応答して、環境音を検出するように構成され得る。
【００１８】
クライアントデバイス１２０によって検出された環境音は、クライアントデバイス１２０の周囲のいずれかの音を含み得る。そのような音には、たとえば、エンジン音、ホーンを鳴らすこと、地下鉄の雑音、動物の音、人間の声、足音、ノックする音、食卓用食器具の音、笛などが含まれ得る。
【００１９】
クライアントデータベース２６０は、環境音を表す音モデルを記憶する。音モデルは、各認識ターゲット音を構成する環境音の統計的表現として、音認識のために使用される。音モデルは、限定はしないが、ガウス混合モデル（Gaussian Mixture Model: ＧＭＭ）または隠れマルコフモデル（Hidden Markov Model： ＨＭＭ）を含む、当技術分野でよく知られている任意の技法を使用することによって、トレーニング音データベースに基づいて生成され得る。いくつかの実施形態では、音モデルは、以下で詳細に説明するガウシアンヒストグラム（Gaussian histogram）として表され得る。音モデルのためのストレージサイズおよび処理時間は、ガウシアンヒストグラムを使用して低減され得る。クライアントデータベース２６０は、所定の音モデルを含み、また、反モデル（anti-models）、ラベル、しきい値、場所（location）、時間、以前の発生（prior occurrence）情報など、関連する情報をも含み得る。そのような情報の中で、ラベルは、入力環境音を特定するために使用され得る。たとえば、クライアントデバイス１２０によって検出された入力環境音は、たとえば、街路および交通情報など、環境音のためのアクティビティ（またはコンテキスト）の場所およびタイプを示すことによって、１つまたは複数の音モデルを特定するラベルに関連付けられ得る。環境音の場所は、街路、オフィス、地下鉄の駅、車、レストランなどを示すことができる。また、環境音のアクティビティ情報は、音楽、スピーチ、テレビ、歩行、交通などを示すことができる。したがって、ある場所に関連付けられた音モデルは、同じ場所で発生する異なるアクティビティに従って異なって表され得、あるアクティビティに関連付けられた音モデルは、そのアクティビティが発生する異なる場所に従って異なって表され得る。
【００２０】
音認識ユニット２２０は、クライアントデータベース２６０にアクセスすることによって、音センサ２１０によって取り込まれた入力環境音を認識して、その認識結果として、入力環境音のためのラベルを作り出す。具体的には、音認識ユニット２２０は、クライアントデータベース２６０から、入力音モデルに類似する１つまたは複数の音モデルを特定するために、入力環境音のための音モデルを生成し、入力音モデルと、クライアントデータベース２６０に記憶された所定の音モデルの各々との間の類似性値（similarity value）を決定する。さらに、音認識ユニット２２０は、特定された音モデルの中で最も多くの数の音モデルに関連付けられたラベルを選択し、図４Ｂから図４Ｄを参照して以下で詳細に説明するように、選択されたラベルの信頼性レベルを決定する。音認識ユニット２２０は次いで、選択されたラベルの信頼性レベルに基づいて、選択されたラベルを出力する。たとえば、信頼性レベルが所定の信頼性しきい値に等しいかまたはそれよりも大きい場合、音認識ユニット２２０は、認識結果として、ユーザへの出力のために、選択されたラベルを入力環境音に関連付ける。
【００２１】
通信ユニット２３０は、信頼性レベルが所定の信頼性しきい値未満である場合、入力環境音を認識するために、ネットワーク１４０を介してサーバ１３０へ要求を送るように構成される。そのような場合、通信ユニット２３０は、サーバ１３０から、入力環境音のためのラベル、および／または、入力環境音に対応する１つまたは複数の音モデルを受信する。通信ユニット２３０はまた、サーバ１３０から受信された１つまたは複数の音モデルの各々に関連付けられた、場所、時間、反モデル、ラベル、以前の発生情報、および／またはしきい値などの追加情報を、サーバ１３０から受信することもできる。
【００２２】
通信ユニット２３０は、入力環境音を認識するようにサーバ１３０に要求するために、入力音モデルをサーバ１３０へ送信するようにさらに構成され得る。さらに、通信ユニット２３０は、入力音モデルに関連付けられた入力場所と入力時間とを送信することができる。入力場所は、入力環境音が検出される特定の場所を示し、入力時間は、入力環境音が検出される特定の時間を示す。入力場所は、ネットワークを通して全地球測位システム（ＧＰＳ）などのロケーションサービスを使用して、取得され得る。さらに、入力時間は、クライアントデバイス１２０またはネットワークサービスプロバイダ内のクロックユニット（図示せず）から取得され得る。
【００２３】
ユーザインターフェース２４０は、音認識ユニット２２０から、またはサーバ１３０からのいずれかから提供されたラベルが正しいかどうかを、ユーザが確認することを可能にするように構成される。ユーザインターフェース２４０を通して、ユーザは、ラベルの正確さを確認するために入力を与えるか、または、提供されたラベルが誤っている場合、正しいラベルを与えることができる。
【００２４】
データベース更新ユニット２５０は、サーバ１３０から受信されたラベルを含む、上記で説明したような１つまたは複数の音モデルと追加情報とを用いて、クライアントデータベース２６０を更新する。いくつかの実施形態では、データベース更新ユニット２５０は、ユーザインターフェース２４０を通して提供されたユーザ入力に基づいて、クライアントデータベース２６０を更新するようにさらに構成される。
【００２５】
図３は、本開示の一実施形態による、環境音を認識するためのサーバ１３０の例示的な構成を示す。サーバ１３０は、音認識ユニット３１０と、通信ユニット３２０と、データベース更新ユニット３３０と、サーバデータベース３４０とを含む。
【００２６】
サーバデータベース３４０は、環境音を表す音モデルを記憶する。いくつかの実施形態では、音モデルは、ガウシアンヒストグラムとして表され得る。サーバデータベース３４０は、所定の音モデルと、反モデル、ラベル、しきい値、場所、時間、以前の発生情報など、関連する情報とを含み得る。そのような情報の中で、ラベルは、入力環境音を特定するために利用され得る。
【００２７】
通信ユニット３２０は、ネットワーク１４０を介して、クライアントデバイス１２０から、入力環境音の認識を求める要求を受信するように構成される。さらに、通信ユニット３２０は、クライアントデバイス１２０から、入力環境音を特徴づける入力音モデルを受信する。いくつかの実施形態では、通信ユニット３２０は、入力音モデルと、場所、時間、およびラベルなどを含む、関連する情報とを受信する。
【００２８】
音認識ユニット３１０は、サーバデータベース３４０にアクセスすることによって、入力環境音を認識して、その認識結果として、入力環境音のためのラベルを決定する。具体的には、音認識ユニット３１０は、入力音モデルに類似する、サーバデータベース３４０からの１つまたは複数の音モデルを特定するために、入力音モデルと、サーバデータベース３４０に記憶された所定の音モデルの各々との間の類似性値を決定する。さらに、音認識ユニット３１０は、特定された音モデルの中で最も多くの数の音モデルに関連付けられたラベルを選択し、図４Ｂから図４Ｄを参照して以下で詳細に説明するように、選択されたラベルの信頼性レベルを決定する。
【００２９】
通信ユニット３２０は、ネットワーク１４０を介して、クライアントデバイス１２０へ、選択されたラベル、および／または、入力音モデルに類似する１つまたは複数の音モデルを提供するようにさらに構成される。また、通信ユニット３２０は、反モデル、ラベル、しきい値、場所、時間、以前の発生情報など、１つまたは複数の音モデルの各々に関連付けられた追加情報を、クライアントデバイス１２０に提供することができる。音モデルを含む上記の情報は、音認識のためにクライアントデバイス１２０によって使用され得る。
【００３０】
上記で説明したように、クライアントデバイス１２０のユーザインターフェース２４０は、ユーザから入力を受信して、サーバ１３０からの選択されたラベルが正しいかどうかを確認することができる。クライアントデバイス１２０は、ネットワーク１４０を介してサーバ１３０へユーザ入力を送ることができる。データベース更新ユニット３３０は、次いで、選択されたラベルについてのユーザ入力に基づいて、サーバデータベース３４０を更新する。
【００３１】
いくつかの実施形態では、音認識ユニット３１０は、入力音モデルの場所と時間とにマッチする、関連付けられた場所と時間とに基づいて、サーバデータベース３４０に記憶された１つまたは複数の音モデルを特定する。音認識ユニット３１０において、入力音モデルとの最大の類似性を有する音モデルが、１つまたは複数の音モデルの中で特定される。データベース更新ユニット３３０は、入力音モデルを追加すること、または、入力音モデルと、最大の類似性を有する音モデルとをマージすることによって、サーバデータベース３４０を更新し、それについては図１０を参照して詳細に説明する。
【００３２】
図４Ａは、本開示の一実施形態による、環境音を認識するための、クライアントデバイスによって実行される方法のフローチャートを示す。４０２で、クライアントデバイス１２０の音センサ２１０は、周囲の環境音を検出し、取り込むことによって、入力環境音を受信する。４０４で、クライアントデバイス１２０の音認識ユニット２２０は、入力環境音に基づいて、入力音モデルを生成する。入力音モデルは、入力環境音から抽出された音の特徴に基づいて生成され得る。
【００３３】
音の特徴は、音声圧縮、強調、認識、および合成方法を含む、任意の好適な信号処理方式を使用して、入力環境音から抽出され得る。たとえば、そのような信号処理方式は、音声認識または音声コーデックのためのよく知られている方法である、ＭＦＣＣ（Mel-frequency cepstral coefficients： メル周波数ケプストラム係数）、ＬＰＣ（linear predictive coding： 線形予測コーディング）、および／またはＬＳＰ（line spectral pair： 線スペクトル対）技法を採用することができる。たとえば、音の特徴は、次のようにＭＦＣＣ方法下で、入力環境音から抽出され得る。時間領域内の入力環境音のフレーム（たとえば、生の音信号）に、ウィンドウイング（窓）関数、たとえば、ハミングウィンドウ（hamming window）を乗じる。音信号は次いで、周波数領域にフーリエ変換され、周波数領域内で変換された信号のスペクトルの帯域ごとにパワーが計算される。対数演算および離散コサイン変換（ＤＣＴ）演算が、計算された各パワーにおいて実行されて、ＤＣＴ係数が得られる。過去の所定の時間の期間にわたる平均値が、２値化のために各ＤＣＴ係数から減算され、２値化結果のセットが音の特徴を構成する。
【００３４】
さらに、４０６で、クライアントデバイス１２０の音認識ユニット２２０は、入力音モデルに類似する１つまたは複数の音モデルを特定するために、入力音モデルと、クライアントデータベース２６０に記憶された音モデルの各々との間の類似性値を決定する。参照しやすいように、入力音モデルに類似するとして特定された１つまたは複数の音モデルはまた、本明細書で類似音モデルとも呼ばれる。類似性値は、ある音モデルが別の音モデルに対応する確率によって表され得る。たとえば、類似性値は、入力音モデルと、クライアントデータベース２６０内の音モデルの各々との間の距離によって決定され得る。そのような場合、入力音モデルからの所定の距離未満の距離を有する１つまたは複数の音モデルが、入力音モデルに類似するとして特定される。追加または代替として、入力音モデルからの最小距離を有する所定の数の音モデルが、入力音モデルに類似するとして特定され得る。
【００３５】
いくつかの実施形態では、音モデルは、所定のヒストグラム（たとえば、ガウシアンヒストグラム）によって表される。この場合、距離は、入力音モデルを表すヒストグラム（「入力ヒストグラム」）と所定のヒストグラムの各々との間のヒストグラムカウントにおける差を合計することによって、計算され得る。
【００３６】
いくつかの他の実施形態では、ヒストグラム間の距離は、カルバックライブラー（Kullback-Leibler： ＫＬ）ダイバージェンス（divergence）を使用することによって計算され得る。ＫＬダイバージェンスは、２つのヒストグラム間の重み付けされた対数比（weighted log ratio）として定義され、より頻繁に発生するヒストグラムがより大きい重みを有する。いくつかの実施形態では、音クリップＡmとＡnとをそれぞれ表す２つのヒストグラムＨ（Ａm）とＨ（Ａn）との間のＫＬダイバージェンスＤKLは、次のように与えられる。
【数１】
0005813789.tif 000002
【００３７】
ただし、ｈk（Ａm）およびｈk（Ａn）は、ヒストグラムカウントを表し、ｋは、ＧＭＭにおける音の特徴のセット全体を表すガウシアンクラスタ（Gaussian clusters）のインデックスである。
【００３８】
上記の式１は、Ｈ（Ａm）およびＨ（Ａn）について対称的ではなく、したがって、距離計算は、どのヒストグラムが入力ヒストグラムと所定のヒストグラムとの間のＨ（Ａm）またはＨ（Ａn）として使用されるかによって影響を受けるようになることに留意されたい。たとえば、第１のＫＬダイバージェンスは、Ｈ（Ａm）を所定のヒストグラムとして設定し、Ｈ（Ａn）を入力ヒストグラムとして設定することによって、計算され得る。第２のＫＬダイバージェンスは、Ｈ（Ａm）を入力ヒストグラムに設定し、Ｈ（Ａn）を所定のヒストグラムに設定することによって、計算され得る。いくつかの実施形態では、両方のＫＬダイバージェンスが計算され得、２つのＫＬダイバージェンスの平均が距離として使用され得る。本開示の趣旨および範囲から逸脱することなく、２つの音モデルの類似性を計算するための他の方式もまた使用され得ることに留意されたい。
【００３９】
４０８で、クライアントデバイス１２０の音認識ユニット２２０は次いで、入力環境音のためのラベルを選択し、選択されたラベルの信頼性レベルを決定する。ラベルを選択し、信頼性レベルを決定するための具体的な動作について、図４Ｂから図４Ｄを参照して以下で詳細に説明する。
【００４０】
４１０で、クライアントデバイス１２０の音認識ユニット２２０は、信頼性レベルを、すべての所定の音モデルについて固定値に設定され得る所定の信頼性しきい値と比較する。代替として、異なる信頼性しきい値が、異なる所定の音モデルに割り当てられてもよい。さらに、しきい値は、ユーザ入力に従って変更されてもよい。たとえば、ユーザが、選択されたラベルが誤っていることを示す場合、認識された音モデルに対応するしきい値がより高い値に調整されてもよい。
【００４１】
信頼性レベルが所定の信頼性しきい値に等しいかまたはそれよりも大きいと決定される場合（４１０で「いいえ」）、４１６で、音認識ユニット２２０は、選択されたラベルをユーザに出力する。そうでない場合、信頼性レベルが所定の信頼性しきい値未満である場合（４１０で「はい」）、４１２で、クライアントデバイス１２０の通信ユニット２３０は、入力環境音を認識するように要求するために、入力音モデルをサーバ１３０へ送信する。要求に応答して、サーバ１３０は、クライアントデバイス１２０の代わりに入力環境音を認識して、以下でさらに詳細に説明するように、入力環境音のためのラベル、および／または、１つもしくは複数の音モデルを選択する。
【００４２】
４１４で、クライアントデバイス１２０の通信ユニット２３０は、クライアントデータベース２６０を更新するために、選択されたラベル、および／または、１つもしくは複数の音モデルをサーバ１３０から受信する。代替として、サーバ１３０が入力環境音を認識できない場合、通信ユニット２３０は、入力環境音の認識における失敗の標示を受信することができる。
【００４３】
選択されたラベル、および／または、１つもしくは複数の音モデルをサーバ１３０から受信した後、４１６で、クライアントデバイス１２０は、選択されたラベルをユーザに出力し、ユーザ入力を受信する。この動作において、ユーザは、選択されたラベルの正確さを検証することが可能になる。たとえば、ユーザは、選択されたラベルが正しいかどうかを確認するか、または、選択されたラベルが不正確である場合、正しいラベルを提供することができる。一実施形態では、ユーザが選択されたラベルについての応答を提供できない場合、選択されたラベルが正しいと仮定され得る。
【００４４】
４１８で、サーバ１３０から受信された、選択されたラベル、１つもしくは複数の音モデル、および、または、選択されたラベルについてのユーザ入力に基づいて、クライアントデータベース２６０が更新される。たとえば、更新動作は、選択されたラベルと関連付けられた音モデルとをクライアントデータベース２６０内に新しいエントリとして追加することによって実施され得るので、新たに追加された音モデルと選択されたラベルとが、後に入力環境音を認識する際に使用され得る。代替として、更新動作は、クライアントデータベース２６０内の所定の音モデルを、選択されたラベルに関連付けられた音モデルとマージするか、または、選択されたラベルに関連付けられた音モデルで置き換えることによって実施され得る。いくつかの実施形態では、サーバ１３０がクライアントデータベース２６０の更新と同様の方法でサーバデータベース３４０を更新できるように、クライアントデバイス１２０におけるユーザからの入力がサーバ１３０へ送信される。いくつかの他の実施形態では、更新動作は、受信された音モデルと、上記で説明した他のタイプの情報とに基づいて実施され得る。
【００４５】
図４Ｂは、本開示の一実施形態による、入力環境音のためのラベルを選択し、選択されたラベルの信頼性レベルを決定するための、音認識ユニット２２０によって実行される図４Ａの４０８のより詳細なフローチャートである。４２２で、音認識ユニット２２０は、入力音モデルに類似するとして特定された１つまたは複数の音モデルの中で最も多数の音モデルに関連付けられた第１のラベルを選択する。ラベルを選択するために、類似音モデルのラベルが検査され得、いくつかの類似音モデルがラベルごとに決定され得る。したがって、第１のラベルは、最も多数の音モデルに起因するラベルである。次いで、４２４で、類似音モデルの中で２番目に多数の音モデルに関連付けられた第２のラベルが選択される。第２のラベルを選択することは、４２２に関連して決定されたいくつかの類似音モデルに基づいてもよい。４２６で、音認識ユニット２２０は次いで、入力音モデルと第１のラベルに関連付けられた音モデルとの間の類似性値（たとえば、確率または距離）の合計と、４２８で、入力音モデルと第２のラベルに関連付けられた音モデルとの間の類似性値の合計とを計算する。４３０で、上記の２つの合計の間の差が信頼性レベルであると決定される。代替実施形態では、第１のラベルに関連付けられた合計が、信頼性レベルであると決定されてもよい。
【００４６】
図４Ｃは、別の実施形態による、音認識ユニット２２０によって実行される図４Ａの４０８のより詳細なフローチャートである。最初に、４３２で、類似音モデルが、それらの関連付けられたラベルに基づいて、１つまたは複数の音モデルのセットにグループ化され、各音モデルのセットが一意のラベルに関連付けられるようになる。４３４で、音モデルのセットごとに、音認識ユニット２２０は、入力音モデルと音モデルの各々との間の類似性値の合計を計算する。４３６で、類似性値の合計の中で、音認識ユニット２２０は、最大の合計に関連付けられるラベルを決定および選択する。４３８で、２番目に大きい合計が、類似性値の合計の中で特定され、選択されたラベルの信頼性レベルが、最大の合計と２番目に大きい合計との間の差に基づいて決定される。代替実施形態では、最大の合計が、信頼性レベルであると決定されてもよい。
【００４７】
図４Ｄは、一実施形態による、音認識ユニット２２０によって実行される図４Ａの４０８のより詳細なフローチャートである。４４２で、音認識ユニット２２０は、図４Ｂの４２２を参照して上記で説明したように、類似音モデルの中で最も多くの数の音モデルに関連付けられたラベルを選択する。代替として、図４Ｃの４３２〜４３６を参照して上記で説明したように、類似性値の最大の合計を有する音モデルのセットに関連付けられたラベルが選択されてもよい。次いで、４４４で、入力音モデルとの最大の類似性を有する音モデルが、選択されたラベルに関連付けられた音モデルの中で特定される。
【００４８】
４４６で、特定された音モデルとその反モデルとの間の類似性値が計算される。反モデルは、あらかじめ決定され、音モデルとそれらの反モデルとの両方を含むクライアントデータベース２６０からロードされ得る。反モデルは、認識精度を向上させるように、音モデルに基づいて生成され得るが、反モデルに関連づけられた音モデルに類似しているが、区別可能である音モデルである。記述的ラベルを使用するとき、ユーザは、音モデルのうちのいくつかについて認識されたラベルを、正しいかまたは誤っているとして検証することができる。認識されたラベルが誤っていると決定された音モデルは、そのラベルと、認識されたラベルが正しいと決定されたラベルと音モデルとに関連付けられた反モデルになるべく、マージまたは平均化され得る。４４８で、４４６で決定された、計算された類似性値が、信頼性レベルとして設定および使用される。
【００４９】
上記で説明したように、入力音モデルは、ヒストグラムによって表され得る。いくつかの実施形態では、入力音モデルは、入力環境音の音の特徴に基づいて、ヒストグラム（たとえば、ガウシアンヒストグラム）を構築することによって、入力環境音から生成される。異なる環境内で取得された環境音は、音の特徴の異なる分布を有することがある。音の特徴の分布は、「ヒストグラム」によって表され得る。したがって、音声環境を表す際に、それぞれの音の特徴ではなく、音の特徴のヒストグラムが使用され得る。一般に、ヒストグラムは、音の特徴を表す特徴ベクトルなど、データポイントの度数分布の近似を表すことができる。
【００５０】
比較的長い時間期間（たとえば、数秒）の間に取り込まれた環境音は、一般に、より短い時間期間に取り込まれた環境音よりも良い環境音の表現を与える。加えて、環境音から抽出された音の特徴は、一般に、環境音についての特徴的な分布を示す。たとえば、混雑したレストラン内で取得された環境音は、食卓用食器具の音、人間の声、背景音楽などに関係するより多数の音の特徴を示すことがあるが、エンジン音、風騒音などの屋外の音に関係するより少数の音の特徴を示すことがある。このようにして、音の特徴のヒストグラムを使用して、音モデルを表すことができる。
【００５１】
図５は、本開示の一実施形態による、入力環境音から抽出された特徴ベクトルに基づいてヒストグラムを構築することによって、音モデルを生成するための方法のフローチャートを示す。図５に示す方法は、ヒストグラムを入力音モデルとして生成するために、図４Ａの４０４で実行され得る。
【００５２】
５１０で、音センサ２１０によって検出された入力環境音が受信され、所定の時間期間の音クリップにセグメント化される。５２０で、音クリップが、次いで、フレームに分割される。いくつかの実施形態では、フレームは、重複しない波形信号であり、各フレームは、特定の時間期間の長さを有する。５３０で、フレームの各々から、ＭＦＣＣを成分として含む特徴ベクトルが抽出される。
【００５３】
５３０で、各フレームから特徴ベクトルを抽出した後、５４０で、特徴ベクトルごとの各ガウシアンクラスタの確率が計算される。この演算において、ＧＭＭによって表される分布全体において現れる、特徴ベクトルｘiの確率を表すＰ（ｘi）が決定される。たとえば、Ｌ個のフレームから構成される音クリップＡmが与えられれば、汎用ＧＭＭ（universal GMM）によって表されるｉ番目のフレームからの特徴ベクトルｘiは、次のように計算され得る。
【数２】
0005813789.tif 000003
【００５４】
ただし、Ｐ（ｘi）は、ｘiがＧＭＭによって表される分布全体において現れる確率を表し、ｆj（ｘi）は、ｘiについてのｊ番目のガウシアンクラスタの尤度を表し、Ｎは、平均値μと分散Σとを有するガウシアンクラスタの正規分布を表し、ｗjは、ｊ番目のガウシアンクラスタの事前確率を表す。
【００５５】
次いで、ｆj（ｘi）を使用して、ｘiについてのｊ番目のガウシアンクラスタの尤度を表すと、特徴ベクトルごとの各ガウシアンクラスタの確率は、次の式によって表され得る。
【数３】
0005813789.tif 000004
【００５６】
上記の式３は、特徴ベクトルｘiがガウシアンクラスタｆjにおいて現れる確率、または、ガウシアンクラスタｆjが特徴ベクトルｘiを含む確率を表す。
【００５７】
５５０で、音クリップから抽出された特徴ベクトルの確率が、次いで、ガウシアンクラスタごとに合計されて、ガウシアンクラスタごとのヒストグラムカウントが得られる。したがって、ガウシアンクラスタｆjのヒストグラムカウントは、音クリップＡm内のすべてのフレームに対応するすべての特徴ベクトルにわたるＰ（ｆj｜ｘi）の合計である。いくつかの実施形態では、ヒストグラムカウントは、音クリップの長さまたは音クリップ内のフレームの数Ｌを用いて正規化され得る。たとえば、音クリップＡmについてのガウシアンクラスタｆjのヒストグラムカウントは、次の式によって表され得る。
【数４】
0005813789.tif 000005
【００５８】
上記の式４は、ガウシアンクラスタｆjが音クリップＡm全体において現れる近似頻度（approximate frequency）を表すものとして理解され得る。
【００５９】
５５０で、ガウシアンクラスタについてのヒストグラムカウントに基づいて、音クリップを表すヒストグラムが生成される。いくつかの実施形態では、音クリップＡmの正規化されたヒストグラム表現は、次のように与えられ得る。
【数５】
0005813789.tif 000006
【００６０】
ただし、Ｋは、ＧＭＭにおける音の特徴のセット全体を表すガウシアンクラスタの数である。
【００６１】
さらに、上記で説明したように、入力環境音は、入力環境音が検出される場所、および／または、入力環境音が検出される時間に関連付けられ得る。ユーザの性別または年齢、デバイス情報など、他のタイプの情報もまた、入力環境音に関連付けられ得る。場所および／または時間は、図６で説明するように、入力環境音の認識における精度を向上させるために利用され得る。
【００６２】
図６は、本開示の一実施形態による、入力環境音に関連付けられた情報を使用することによって入力環境音を認識するための、クライアントデバイス１２０によって実行される方法のフローチャートを示す。６１０で、クライアントデバイス１２０の音認識ユニット２２０は、音センサ２１０によって検出された入力環境音を受信する。６１０で、音認識ユニット２２０はまた、入力音モデルに関連付けられた入力場所および／または時間をも受信する。入力場所および時間は、上記で説明したように、内部的に、または、ネットワークを通して外部的に取得され得る。
【００６３】
６２０で、クライアントデバイス１２０の音認識ユニット２２０は、入力環境音に基づいて、入力音モデルを生成する。いくつかの実施形態では、クライアントデバイス１２０は、入力環境音に基づいて、上記で説明したようにガウシアンヒストグラムを構築することによって、入力音モデルを取得する。
【００６４】
６３０で、入力場所および／または時間が次いで、クライアントデータベース２６０内の所定の音モデルに関連付けられた所定の場所および／または時間と比較される。この動作において、文字列マッチング方法など、任意のタイプの一般に知られているマッチング方法が、入力場所および／または時間を所定の場所および／または時間のいずれか１つとマッチングするために採用され得る。
【００６５】
６４０で、６３０における比較結果に基づいて、クライアントデバイス１２０の音認識ユニット２２０は、入力音モデルに類似している１つまたは複数の所定の音モデルを特定するために、入力音モデルを、クライアントデータベース２６０からの所定の音モデルと比較する。いくつかの実施形態では、６４０で、入力場所および／または時間にマッチしない所定の場所および／または時間に関連付けられる所定の音モデルが、入力音モデルと比較される前にフィルタ処理で除去される。したがって、入力場所および／または時間にマッチする所定の場所および／または時間に関連付けられた所定の音モデルのみが、入力環境音の認識において考慮される。そのようなフィルタ処理演算は、入力音モデルと比較される所定の音モデルの数を減らすことによって、入力環境音の認識時間を減らす。フィルタ処理演算はまた、同時発生的に類似しているが、場所または時間に関して入力音モデルとは無関係である所定の音モデルを無視することによって、認識の精度を向上させる。いくつかの実施形態では、フィルタ処理される代わりに、いくつかの所定の音モデルに、入力場所および／または時間にマッチするものよりも低い優先度または重みが音認識において与えられ得る。音モデルの比較は、図４Ａを参照して上記で説明したように、所定の音モデルの各々と、入力音モデルとの間の距離を計算することによって、実行され得る。
【００６６】
６５０で、クライアントデバイス１２０は、比較結果と、クライアントデータベース２６０からの以前の発生情報とに基づいて、ラベルを選択する。場所および／または時間に加えて、この動作は、環境音の以前の発生に関係する統計量を、入力環境音の認識における事前確率と見なす。一般に、同じタイプの環境音は、特定の場所および／または時間において、支配的および定期的に発生することがある。たとえば、ラッシュアワー中の人口の多い都市では、交通音が、他のタイプの音よりも検出される確率が高いことがある。したがって、特定の音モデルのセットが、特定の場所および／または時間において、他の音モデルよりも頻繁に認識され得ると仮定することができる。この所見に基づいて、特定の場所および／または時間における入力環境音は、そのような場所または時間において頻繁に認識された音モデルにマッチする確率がより高いと予想され得る。したがって、以前の発生統計量を利用することは、認識精度を向上させることができる。
【００６７】
以前の発生情報を使用することにおいて、クライアントデータベース２６０はまた、特定の時間または場所における音生起確率情報を含む、以前の発生情報をも含み得る。以前の発生情報において、より高い優先度または重みが、より低い発生をもつ所定の音モデルよりも、より高い以前の発生をもつ所定の音モデルに与えられてもよい。
【００６８】
いくつかの実施形態では、図６におけるラベルを選択するための動作は、図４Ｂから図４Ｄを参照して上記で説明したように、選択されたラベルの信頼性レベルを決定することによって実施される。図６の方法を、クライアントデバイス１２０において実行されるように上記で説明したが、この方法はまた、いくつかの実施形態では、サーバ１３０によっても同様の方法で実行され得る。
【００６９】
図７は、場所依存および時間依存の音モデルの例示的なデータベース構造の概略図である。図７に示すデータベースは、クライアントデータベース２６０内、またはサーバデータベース３４０内のいずれかで実装され得る。場所依存および時間依存の音モデルは、データベース内で、関連付けられた場所および時間とともに記憶され得る。
【００７０】
図７に示すように、同じタイプの環境音（たとえば、交通音）を表す音モデルが、異なる場所および時間について生成および記憶され得る。たとえば、ソウルの交通音は、サンディエゴの交通音とは異なることがある。したがって、異なる場所に関連付けられた２つ以上の類似する交通音モデルがあり得、１つは、「ソウル」という場所に関連付けられ、別のものは、「サンディエゴ」という場所に関連付けられる。このようにして、異なる場所または時間において検出された類似する環境音が、異なる場所および時間に関連付けられた類似する音モデルによって表され得る。
【００７１】
いくつかの実施形態では、類似する場所または類似する時間から取得された音モデルが、統計量的に互いに類似する場合、それらの音モデルが互いにマージされ得、それについては、図１０を参照して以下で詳細に説明する。たとえば、マージは、音モデルを単に平均化することによって実行され得る。
【００７２】
膨大な数の音モデルがあり得るので、いくつかの実施形態では、音モデルは、複数レベルの構造化された時間および場所のカテゴリに従って、データベース内で分類および記憶され得、そのことが、記憶された音モデルの中で特定の音モデルを調べる時間を節約するために役立ち得る。いくつかの実施形態では、異なる音パターンを表す複数の音モデルが、類似する場所および時間における同じ種類の状況に関連付けられ得る。たとえば、同じ都市内で走行中の複数のタイプの列車またはバスがあり得、これらの列車またはバスは、異なる音パターンを生成する。
【００７３】
図８は、本開示の一実施形態による、音モデルと音モデルに関連付けられた情報との例示的なクライアントデータベースまたはサーバデータベースである。データベースは、ヒストグラムなどの音モデルと、対応する反モデルと、ラベルと、場所と、時間と、以前の発生情報とを含む。この場合、以前の発生情報は、関連付けられた時間および場所において認識されるそれぞれの音モデルの発生の回数を示す。
【００７４】
いくつかの実施形態では、同じタイプの環境音に関係する音モデルが、クライアントデータベースまたはサーバデータベース内で異なるデータ階層レベルの場所および／または時間に関連して記憶される。たとえば、（「街路−交通」とラベルが付けられた）ヒストグラムＡは、「ソウル」という場所に関連付けられるが、ヒストグラムＤは、ヒストグラムＡの「ソウル」という場所よりも高いレベルである「都市」という場所に関連付けられる。
【００７５】
いくつかの実施形態では、各ラベルは、少なくとも１つの音モデルを特定することができる。たとえば、図８に示すように、「街路−交通」というラベルは、ヒストグラムＡからＤによって表された音モデルを特定するが、「オフィス−スピーチ」というラベルは、ヒストグラムＥによって表された音モデルを特定する。そのようなラベルは、図４Ａから図４Ｄを参照して上記で説明したように、クライアントデバイスによって実行される音認識において、関連付けられた音モデルによって表された環境音を認識するために選択され得る。また、音モデルに関連付けられたラベルは、図９を参照して以下で説明する、サーバによって実行される環境音認識において選択および使用され得る。
【００７６】
図９は、本開示の一実施形態による、環境音を認識するための、サーバ１３０によって実行される方法のフローチャートを示す。
【００７７】
９１０で、サーバ１３０の通信ユニット３２０は、クライアントデバイス１２０から入力音モデルを受信する。代替として、通信ユニット１３０は、クライアントデバイス１２０から入力環境音を受信してもよく、サーバ１３０は、その入力環境音に基づいて、入力音モデルを構築してもよい。この場合、入力音モデルは、上記で説明したように、入力環境音から抽出された音の特徴に基づいて構築される。さらに、通信ユニット３２０は、クライアントデバイス１２０から、入力場所および／または時間など、追加情報を受信してもよい。
【００７８】
９２０で、サーバ１３０の音認識ユニット３１０は、たとえば、図４Ａを参照して上記で説明したような方法を採用することによって、サーバデータベース３４０から、入力音モデルに類似している１つまたは複数の音モデルを特定する。いくつかの実施形態では、サーバデータベース３４０は、図８に示すように、所定の音モデルと、反モデル、ラベル、しきい値、場所、時間、以前の発生情報など、関連する情報とを含む。この場合、音認識ユニット３１０において、図６を参照して上記で説明した方法と同様の方法で、入力場所および／または時間を、所定の音モデルに関連付けられた場所および／または時間と比較することによって、１つまたは複数の音モデルが特定される。
【００７９】
９３０で、サーバ１３０の音認識ユニット３１０は次いで、入力環境音のためのラベルを選択し、選択されたラベルの信頼性レベルを決定する。この動作は、図４Ｂから図４Ｄを参照して上記で説明した方法と同様に実行され得る。信頼性レベルが所定の信頼性しきい値に等しいかまたはそれよりも大きいと決定される場合（９４０で「いいえ」）、９５０で、サーバ１３０の通信ユニット３２０は、選択されたラベルをクライアントデバイス１２０に提供する。サーバ１３０の通信ユニット３２０はまた、選択されたラベルに関連付けられた１つまたは複数の音モデルを、クライアントデバイス１２０に提供することもできるので、クライアントデバイス１２０のクライアントデータベース２６０は、提供された音モデルと選択されたラベルとに基づいて更新される。加えて、通信ユニット３２０は、クライアントデバイス１２０における入力環境音の認識において後に使用され得る、場所、時間、反モデル、以前の発生情報など、音モデルに関連付けられた追加情報を送信することができる。
【００８０】
９５０で、選択されたラベルと関連付けられた音モデルとを提供した後、９７０で、サーバ１３０の通信ユニット３２０は、選択されたラベルの正確さについて、クライアントデバイス１２０のユーザから入力を受信することができる。たとえば、ユーザ入力は、選択されたラベルが正しいかどうかについての情報、または、選択されたラベルが誤っている場合、正しいラベルを含み得る。９８０で、クライアントデバイス１２０からのユーザ入力に基づいて、サーバ１３０のデータベース更新ユニット３３０は、サーバデータベース３４０に記憶された音モデル、および／または、以前の発生情報などの関連する情報を更新する。たとえば、ユーザ入力が、選択されたラベルが正しいことを示す場合、そのラベルに関連付けられた以前の発生情報は、関連付けられた音モデルの発生の回数がより多くなるように調整されることを示すように更新され得る。
【００８１】
一方、信頼性レベルが所定の信頼性しきい値未満である場合（９４０で「はい」）、９６０で、サーバ１３０の通信ユニット３２０は、入力環境音の認識における失敗の標示をクライアントデバイス１２０へ送信する。そのような標示を受信すると、９７０で、クライアントデバイス１２０は、入力環境音のための正しいラベルを提供するようにユーザに要求することができる。この場合、ユーザが正しいラベルを提供するとき、クライアントデバイス１２０は、提供されたラベルをサーバ１３０へ送信する。９８０で、受信されたラベルと入力音モデルとに基づいて、サーバ１３０は、サーバデータベース３４０内の音モデル、および／または関連する情報を更新するので、入力音モデルは、サーバデータベース３４０内で新しいエントリとして記憶され得る。
【００８２】
図１０は、本開示の一実施形態による、音モデルに関連付けられた場所および／または時間を使用することによって、データベース内の音モデルを更新するための、サーバ１３０によって実行される方法のフローチャートを示す。図１０に示すような方法を、サーバデータベース３４０を更新するために説明するが、この方法は、クライアントデータベース２６０を更新するためにも採用され得る。具体的には、この方法は、図４Ａに示す方法の４１８でクライアントデータベース２６０を更新すること、または、図９に示す方法の９８０でサーバデータベース３４０を更新することにおいて使用され得る。
【００８３】
１０１０で、入力音モデルと、入力音モデルに関連付けられた入力場所および／または時間とが、サーバ１３０の通信ユニット３２０によって受信される。１０２０で、サーバ１３０の音認識ユニット３１０は次いで、サーバデータベース３４０から、入力場所および／または時間にマッチする場所および／または時間に関連付けられる、１つまたは複数の音モデルを特定する。
【００８４】
いずれかの音モデルが特定される場合（１０３０で「はい」）、１０４０で、音認識ユニット３１０は、特定された音モデルの中で入力音モデルとの最大の類似性を有する音モデルを特定する。いくつかの実施形態では、類似性は、図４Ａを参照して上記で説明したように、入力音モデルと音モデルの各々との間の距離に基づいて決定され得る。
【００８５】
１０５０で、サーバ１３０の音認識ユニット３１０は次いで、類似性を所定の類似性しきい値と比較する。類似性が、所定の類似性しきい値に等しいかまたはそれよりも大きいと判定される場合（１０５０で「はい」）、１０７０で、データベース更新ユニット３３０は、入力音モデルと、入力音モデルとの最大の類似性を有する特定された音モデルとをマージする。いくつかの実施形態では、マージは、音モデルを単に平均化することによって実行され得る。
【００８６】
一方、入力場所および／または時間にマッチする場所および／または時間に関連付けられたいかなる音モデルも、サーバデータベース３４０から特定されない場合（１０３０で「いいえ」）、１０６０で、入力音モデルと、入力場所および／または時間とが、サーバデータベース３４０内で新しいエントリとして記憶される。また、類似性が、所定の類似性しきい値未満であると判定される場合（１０５０で「いいえ」）、１０６０で、同じ動作が実行される。
【００８７】
図１１は、ワイヤレス通信システムにおける例示的なモバイルデバイス１１００の構成を示す。モバイルデバイス１１００の構成は、クライアントデバイス１２０、１５０、１６０、１７０、および１８０において実装され得る。モバイルデバイス１１００は、携帯電話、端末、送受器、携帯情報端末（ＰＤＡ）、ワイヤレスモデム、コードレス電話などでもよい。ワイヤレス通信システムは、符号分割多元接続（ＣＤＭＡ）システム、Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））システム、広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））システム、Ｌｏｎｇ  Ｔｅｒｎ  Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）システム、ＬＴＥ  Ａｄｖａｎｃｅｄシステムなどでもよい。さらに、モバイルデバイス１１００は、たとえば、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＦｌａｓｈＬｉｎｑ技術を使用して、別のモバイルデバイスと直接通信することができる。
【００８８】
モバイルデバイス１１００は、受信経路および送信経路を介して双方向通信を行うことが可能である。受信経路上で、基地局によって送信された信号は、アンテナ１１１２によって受信され、受信機（ＲＣＶＲ）１１１４に供給される。受信機１１１４は、受信された信号を調整およびデジタル化し、調整およびデジタル化されたデジタル信号などのサンプルを、さらに処理するためにデジタルセクションに供給する。送信経路上で、送信機（ＴＭＴＲ）１１１６は、デジタルセクション１１２０から送信すべきデータを受け取り、データを処理し、調整し、変調信号を発生し、変調信号はアンテナ１１１２を介して基地局に送信される。受信機１１１４および送信機１１１６は、ＣＤＭＡ、ＧＳＭ、ＬＴＥ、ＬＴＥ  Ａｄｖａｎｃｅｄなどをサポートすることができるトランシーバの一部でもよい。
【００８９】
デジタルセクション１１２０は、様々な処理ユニットと、インターフェースユニットと、メモリユニットとを含み、たとえばモデムプロセッサ１１２２と、縮小命令セットコンピュータ／デジタル信号プロセッサ（ＲＩＳＣ／ＤＳＰ）１１２４と、コントローラ／プロセッサ１１２６と、内部メモリ１１２８と、一般化されたオーディオエンコーダ１１３２と、一般化されたオーディオデコーダ１１３４と、グラフィックス／ディスプレイプロセッサ１１３６と、外部バスインターフェース（ＥＢＩ）１１３８などとを含む。モデムプロセッサ１１２２は、データ送信および受信のための処理、たとえば符号化と、変調と、復調と、復号とを実行することができる。ＲＩＳＣ／ＤＳＰ１１２４は、モバイルデバイス１１００のための一般的な処理と専用の処理とを実行することができる。コントローラ／プロセッサ１１２６は、デジタルセクション１１２０内の様々な処理ユニットおよびインターフェースユニットの演算を実行することができる。内部メモリ１１２８は、デジタルセクション１１２０内の様々なユニットのためのデータおよび／または命令を記憶することができる。
【００９０】
一般化されたオーディオエンコーダ１１３２は、オーディオソース１１４２、マイクロフォン１１４３などから入力信号についての符号化を実行することができる。一般化されたオーディオデコーダ１１３４は、コード化されたオーディオデータについての復号を実行することができ、出力信号をスピーカー／ヘッドセット１１４４に提供することができる。グラフィックス／ディスプレイプロセッサ１１３６は、グラフィックス、ビデオ、画像、およびテキストについての処理を実行することができ、これらはディスプレイユニット１１４６に提示され得る。ＥＢＩ１１３８は、デジタルセクション１１２０とメインメモリ１１４８との間のデータ転送を容易にすることができる。
【００９１】
デジタルセクション１１２０は、１つまたは複数のプロセッサ、ＤＳＰ、マイクロプロセッサ、ＲＩＳＣなどを用いて実装できる。デジタルセクション１１２０はまた、１つもしくは複数の特定用途向け集積回路（ＡＳＩＣ）、および／または何らかの他のタイプの集積回路（ＩＣ）上に作製できる。
【００９２】
一般に、本明細書で説明する任意のデバイスは、ワイヤレス電話、携帯電話、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ（ＰＣ）カード、ＰＤＡ、外部または内蔵モデム、ワイヤレスチャネルを介して通信するデバイスなど、様々なタイプのデバイスを表すことができる。デバイスは、アクセス端末（ＡＴ）、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、モバイル電話、モバイル、リモート局、遠隔端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなど、様々な名前を有し得る。本明細書で説明する任意のデバイスは、命令およびデータ、ならびにハードウェア、ソフトウェア、ファームウェアまたはその組合せを記憶するためのメモリを有し得る。
【００９３】
本明細書で説明した技法は、様々な手段で実装され得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。さらに、本明細書の本開示に関連して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装できることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装することができるが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
【００９４】
ハードウェア実装の場合、技法を実行するために使用される処理ユニットは、１つまたは複数のＡＳＩＣ、ＤＳＰ、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装できる。
【００９５】
したがって、本明細書の開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡまたは他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行できる。汎用プロセッサはマイクロプロセッサとすることができるが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装することもできる。
【００９６】
ファームウェアおよび／またはソフトウェア実装では、技法は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ＣＤ）、磁気または光学データ記憶デバイスなど、コンピュータ可読媒体上に記憶された命令として組み込まれ得る。命令は、１つまたは複数のプロセッサによって実行可能であり得、（１つまたは複数の）プロセッサに、本明細書で説明する機能のいくつかの態様を実行させ得る。
【００９７】
ソフトウェアで実装する場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶するか、あるいはコンピュータ可読媒体を介して送信することができる。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体でよい。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、あるいは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、もしくは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用でき、コンピュータによってアクセスできる任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、より対線、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他の遠隔の送信元から送信される場合、その同軸ケーブル、光ファイバーケーブル、より対線、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、ＣＤ（disc）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【００９８】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐することができる。例示的な記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替として、記憶媒体は、プロセッサと一体とすることができる。プロセッサおよび記憶媒体は、ＡＳＩＣ中に常駐することができる。ＡＳＩＣは、ユーザ端末内に常駐することができる。代替として、プロセッサおよび記憶媒体は、離散構成要素としてユーザ端末中に常駐することができる。
【００９９】
本開示の前述の説明は、いかなる当業者でも本開示を作成または使用することができるように提供される。本開示への様々な修正は当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用できる。したがって、本開示は、本明細書で説明する例に限定されるものではなく、本明細書で開示する原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
【０１００】
例示的な実装形態は、１つまたは複数のスタンドアロンコンピュータシステムの文脈で、本開示の主題の態様を利用することに言及し得るが、主題は、そのように限定されるのではなく、任意のコンピューティング環境、たとえばネットワークまたは分散コンピューティング環境に関連して実施され得る。またさらに、本開示の主題の態様は、複数の処理チップまたはデバイスにおいて、またはそれにわたって実装され得、同様に、記憶は、複数のデバイスにわたって実施され得る。そのようなデバイスには、ＰＣ、ネットワークサーバ、およびハンドヘルドデバイスが含まれ得る。
【０１０１】
主題は構造機能および／または方法論的な行為に固有の言語で記載されているが、添付の特許請求の範囲において定義される主題は必ずしも上記の特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
クライアントデバイスにおいて環境音を認識するための方法であって、
環境音の複数の音モデルと複数のラベルとを含むクライアントデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を受信し、前記入力環境音に基づいて、入力音モデルを生成することと、
前記入力音モデルに類似する、前記クライアントデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、を備える方法。
［Ｃ２］
前記入力音モデルは、前記入力環境音から抽出された音の特徴に基づいて生成される、Ｃ１に記載の方法。
［Ｃ３］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ１に記載の方法。
［Ｃ４］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、前記信頼性レベルが、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ３に記載の方法。
［Ｃ５］
前記ラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算しすることと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を備える、Ｃ１に記載の方法。
［Ｃ６］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、前記信頼性レベルが、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ５に記載の方法。
［Ｃ７］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ１に記載の方法。
［Ｃ８］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ１に記載の方法。
［Ｃ９］
前記信頼性レベルが所定の信頼性しきい値未満である場合、
前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、をさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することと、
前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記クライアントデータベースを更新することと、をさらに備える、Ｃ９に記載の方法。
［Ｃ１１］
前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを受信することと、
前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記クライアントデータベースを更新することと、をさらに備える、Ｃ１０に記載の方法。
［Ｃ１２］
前記クライアントデータベースを更新することは、
前記受信されたラベルを前記クライアントデバイスのユーザに提供することと、
前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することと、
前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することと、を備える、Ｃ１０に記載の方法。
［Ｃ１３］
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することをさらに備え、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定された前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを備える、Ｃ１３に記載の方法。
［Ｃ１５］
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ１３に記載の方法。
［Ｃ１６］
サーバで、クライアントデバイスから受信された入力環境音を認識するための方法であって、
環境音の複数の音モデルと複数のラベルとを含むサーバデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することと、
前記入力音モデルに類似する、前記サーバデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、を備える方法。
［Ｃ１７］
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、
前記選択されたラベルと前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供すること、をさらに備える、Ｃ１６に記載の方法。
［Ｃ１８］
前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供することをさらに備える、Ｃ１７に記載の方法。
［Ｃ１９］
前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信することと、
前記ユーザからの前記入力を用いて、前記サーバデータベースを更新することと、をさらに備える、Ｃ１７に記載の方法。
［Ｃ２０］
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信することをさらに備え、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを備える、Ｃ１７に記載の方法。
［Ｃ２１］
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理すること、を備える、Ｃ２０に記載の方法。
［Ｃ２２］
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ２０に記載の方法。
［Ｃ２３］
前記信頼性レベルが前記所定の信頼性しきい値未満である場合、
前記入力環境音の認識における失敗の標示を、前記クライアントデバイスに提供することと、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、
前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることと、をさらに備える、Ｃ２０に記載の方法。
［Ｃ２４］
前記入力音モデルと前記特定された音モデルとの間の前記類似性が、前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶すること、をさらに備える、Ｃ２３に記載の方法。
［Ｃ２５］
前記選択されたラベルが、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ１６に記載の方法。
［Ｃ２６］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ２５に記載の方法。
［Ｃ２７］
前記ラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
前記セットの各々における音モデルの前記類似性値の合計を計算して、最大の合計を決定することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を備える、Ｃ１６に記載の方法。
［Ｃ２８］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ２７に記載の方法。
［Ｃ２９］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ１６に記載の方法。
［Ｃ３０］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ１６に記載の方法。
［Ｃ３１］
環境音を認識するためのデバイスであって、
環境音の複数の音モデルと複数のラベルとを記憶するように構成されたクライアントデータベース、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を取り込むように構成された音センサと、
前記入力環境音から入力音モデルを生成することと、
前記入力音モデルに類似する、前記クライアントデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、を行うように構成された、音認識ユニットと備えるデバイス。
［Ｃ３２］
前記選択されたラベルが、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ３１に記載のデバイス。
［Ｃ３３］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ３２に記載のデバイス。
［Ｃ３４］
前記音認識ユニットは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を行うようにさらに構成される、Ｃ３１に記載のデバイス。
［Ｃ３５］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ３４に記載のデバイス。
［Ｃ３６］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ３１に記載のデバイス。
［Ｃ３７］
前記入力音モデルとの最大の類似性値を有する音モデルが、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ３１に記載のデバイス。
［Ｃ３８］
前記信頼性レベルが所定の信頼性しきい値未満である場合、前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、を行うように構成された通信ユニットをさらに備える、Ｃ３１に記載のデバイス。
［Ｃ３９］
前記通信ユニットが、前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することを行うようにさらに構成され、
前記デバイスは、前記サーバから受信された前記ラベルと前記音モデルとを用いて前記クライアントデータベースを更新するように構成されたデータベース更新ユニットをさらに備える、Ｃ３８に記載のデバイス。
［Ｃ４０］
前記通信ユニットは、前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを受信することを行うようにさらに構成され、
前記データベース更新ユニットは、前記サーバからの前記場所および時間のうちの少なくとも１つを用いて前記クライアントデータベースを更新することを行うようにさらに構成される、Ｃ３９に記載のデバイス。
［Ｃ４１］
前記受信されたラベルを前記クライアントデバイスのユーザに提供することと、前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することとを行うように構成された、ユーザインターフェースをさらに備え、
前記データベース更新ユニットは、前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することを行うようにさらに構成される、Ｃ３９に記載のデバイス。
［Ｃ４２］
前記通信ユニットは、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することを行うようにさらに構成され、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所情報および時間のうちの少なくとも１つを備える、Ｃ３１に記載のデバイス。
［Ｃ４３］
前記音認識ユニットは、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを行うようにさらに構成される、Ｃ４２に記載のデバイス。
［Ｃ４４］
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ４２に記載のデバイス。
［Ｃ４５］
クライアントデバイスから受信された入力環境音を認識するためのサーバであって、
環境音の複数の音モデルと複数のラベルとを記憶するように構成されたサーバデータベース、各ラベルは、少なくとも１つの前記音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することを行うように構成された、通信ユニットと、
前記入力音モデルに類似する、前記サーバデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、を行うように構成された、音認識ユニットと備えるサーバ。
［Ｃ４６］
前記通信ユニットは、前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供することを行うようにさらに構成される、Ｃ４５に記載のサーバ。
［Ｃ４７］
前記通信ユニットは、前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供することを行うようにさらに構成される、Ｃ４６に記載のサーバ。
［Ｃ４８］
前記通信ユニットは、さらに、前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信するためのものであり、
前記サーバは、前記ユーザからの前記入力を用いて前記サーバデータベースを更新するように構成されたデータベース更新ユニットをさらに備える、Ｃ４６に記載のサーバ。
［Ｃ４９］
前記通信ユニットは、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信することを行うようにさらに構成され、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、Ｃ４６に記載のサーバ。
［Ｃ５０］
前記音認識ユニットは、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理するようにさらに構成される、Ｃ４９に記載のサーバ。
［Ｃ５１］
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ４９に記載のサーバ。
［Ｃ５２］
前記通信ユニットは、前記信頼性レベルが前記所定の信頼性しきい値未満である場合、前記入力環境音の認識における失敗の標示を前記クライアントデバイスに提供することを行うようにさらに構成され、
前記音認識ユニットは、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、を行うようにさらに構成され、
前記データベース更新ユニットは、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることを行うようにさらに構成される、Ｃ４９に記載のサーバ。
［Ｃ５３］
前記データベース更新ユニットは、前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶することを行うようにさらに構成される、Ｃ５２に記載のサーバ。
［Ｃ５４］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ４５に記載のサーバ。
［Ｃ５５］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ５４に記載のサーバ。
［Ｃ５６］
前記音認識ユニットは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を行うようにさらに構成される、Ｃ４５に記載のサーバ。
［Ｃ５７］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ５６に記載のサーバ。
［Ｃ５８］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ４５に記載のサーバ。
［Ｃ５９］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ４５に記載のサーバ。
［Ｃ６０］
クライアントデバイスにおいて環境音を認識するための命令を備えるコンピュータ可読媒体であって、前記命令がプロセッサに、
環境音の複数の音モデルと複数のラベルとを含む、クライアントデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を受信し、前記入力環境音に基づいて、入力音モデルを生成することと、
前記入力音モデルに類似する、前記クライアントデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルからラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、の動作を行わせる、コンピュータ可読媒体。
［Ｃ６１］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ６０に記載の媒体。
［Ｃ６２］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ６１に記載の媒体。
［Ｃ６３］
前記ラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を備える、Ｃ６０に記載の媒体。
［Ｃ６４］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ６３に記載の媒体。
［Ｃ６５］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ６０に記載の媒体。
［Ｃ６６］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ６０に記載の媒体。
［Ｃ６７］
前記動作は、
前記信頼性レベルが所定の信頼性しきい値未満である場合、
前記入力環境音を認識するために、前記入力音モデルをサーバへ送信することと、
前記サーバから、前記入力環境音を特定するラベルを受信することと、をさらに備える、Ｃ６０に記載の媒体。
［Ｃ６８］
前記動作は、
前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルを受信することと、
前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記クライアントデータベースを更新することと、をさらに備える、Ｃ６７に記載の媒体。
［Ｃ６９］
前記動作は、
前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを、前記サーバから受信することと、
前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記クライアントデータベースを更新することと、をさらに備える、Ｃ６８に記載の媒体。
［Ｃ７０］
前記クライアントデータベースを更新することは、
前記受信されたラベルを前記クライアントデバイスのユーザに提供することと、
前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信することと、
前記ユーザからの前記入力に基づいて、前記クライアントデータベースを更新することと、を備える、Ｃ６８に記載の媒体。
［Ｃ７１］
前記動作は、
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを受信することをさらに備え、
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに備える、Ｃ６０に記載の媒体。
［Ｃ７２］
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記クライアントデータベースの前記複数の音モデルをフィルタ処理することを備える、Ｃ７１に記載の媒体。
［Ｃ７３］
前記クライアントデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記クライアントデータベースからの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ７１に記載の媒体。
［Ｃ７４］
サーバで、クライアントデバイスから受信された入力環境音を認識するための命令を備えるコンピュータ可読媒体であって、前記命令がプロセッサに、
環境音の複数の音モデルと複数のラベルとを含む、サーバデータベースを提供すること、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を表す入力音モデルを、前記クライアントデバイスから受信することと、
前記入力音モデルに類似する、前記サーバデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定することと、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択することと、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けることと、の動作を行わせる、コンピュータ可読媒体。
［Ｃ７５］
前記動作は、
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、
前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供すること、をさらに備える、Ｃ７４に記載の媒体。
［Ｃ７６］
前記動作は、
前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスに提供すること、をさらに備える、Ｃ７５に記載の媒体。
［Ｃ７７］
前記動作は、
前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力を受信することと、
前記ユーザからの前記入力を用いて、前記サーバデータベースを更新することと、をさらに備える、Ｃ７５に記載の媒体。
［Ｃ７８］
前記動作は、
前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスから受信すること、をさらに備え、
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つを備える、Ｃ７５に記載の媒体。
［Ｃ７９］
前記類似性値を決定することは、
それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記サーバデータベースの前記複数の音モデルをフィルタ処理すること、を備える、Ｃ７８に記載の媒体。
［Ｃ８０］
前記サーバデータベースは、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記サーバデータベースからの前記１つまたは複数の音モデルが、前記以前の発生情報に基づいて特定される、Ｃ７８に記載の媒体。
［Ｃ８１］
前記動作は、
前記信頼性レベルが前記所定の信頼性しきい値未満である場合、
前記入力環境音の認識における失敗の標示を前記クライアントデバイスに提供することと、
前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットを特定することと、
前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定することと、を、
前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記サーバデータベース内で、前記入力音モデルと前記特定された音モデルとをマージすることと、をさらに備える、Ｃ７８に記載の媒体。
［Ｃ８２］
前記動作は、
前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記サーバデータベースに記憶すること、をさらに備える、Ｃ８１に記載の媒体。
［Ｃ８３］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ７４に記載の媒体。
［Ｃ８４］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ８３に記載の媒体。
［Ｃ８５］
前記ラベルを選択することは、
前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
前記セットの各々における音モデルの前記類似性値の合計を計算して、最大の合計を決定することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を備える、Ｃ７４に記載の媒体。
［Ｃ８６］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ８５に記載の媒体。
［Ｃ８７］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ７４に記載の媒体。
［Ｃ８８］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ７４に記載の媒体。
［Ｃ８９］
環境音を認識するための装置であって、
環境音の複数の音モデルと複数のラベルとを記憶するための手段、各ラベルは、少なくとも１つの音モデルを特定する、と、
入力環境音を取り込むための手段と、
前記入力環境音から入力音モデルを生成するための手段と、
前記入力音モデルに類似する、前記記憶する手段からの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定するための手段と、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択するための手段と、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けるための手段と、を備える装置。
［Ｃ９０］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ８９に記載の装置。
［Ｃ９１］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ９０に記載の装置。
［Ｃ９２］
前記選択手段は、前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化することと、
最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算することと、
前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択することと、を行う、Ｃ８９に記載の装置。
［Ｃ９３］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、
前記信頼性レベルは、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ９２に記載の装置。
［Ｃ９４］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ８９に記載の装置。
［Ｃ９５］
前記入力音モデルとの最大の類似性値を有する音モデルが、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ８９に記載の装置。
［Ｃ９６］
前記信頼性レベルが所定の信頼性しきい値未満である場合、前記入力環境音を認識するために、前記入力音モデルをサーバへ送信するための手段と、
前記サーバから、前記入力環境音を特定するラベルを受信するための手段と、をさらに備える、Ｃ８９に記載の装置。
［Ｃ９７］
前記受信手段は、前記サーバから、前記入力音モデルに類似する１つまたは複数の音モデルをさらに受信し、
前記装置は、前記サーバから受信された前記ラベルと前記音モデルとを用いて、前記記憶手段を更新するための手段をさらに備える、Ｃ９６に記載の装置。
［Ｃ９８］
前記受信手段は、前記サーバから、前記サーバから受信された前記１つまたは複数の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに受信し、
前記更新手段は、前記サーバからの前記場所および時間のうちの少なくとも１つを用いて、前記記憶手段をさらに更新する、Ｃ９７に記載の装置。
［Ｃ９９］
前記受信されたラベルを前記装置のユーザに提供し、前記受信されたラベルが前記入力環境音にマッチするかどうかについて、前記ユーザから入力を受信するための手段をさらに備え、
前記更新手段は、前記ユーザからの前記入力に基づいて、前記記憶手段をさらに更新する、Ｃ９７に記載の装置。
［Ｃ１００］
前記受信手段は、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つをさらに受信し、
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた場所情報および時間のうちの少なくとも１つをさらに記憶する、Ｃ８９に記載の装置。
［Ｃ１０１］
前記決定手段は、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記記憶手段における前記複数の音モデルをフィルタ処理する、Ｃ１００に記載の装置。
［Ｃ１０２］
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに備え、
前記記憶手段からの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ１００に記載の装置。
［Ｃ１０３］
クライアントデバイスから受信された入力環境音を認識するためのコンピュータシステムであって、
環境音の複数の音モデルと複数のラベルとを記憶するための手段、各ラベルは、少なくとも１つの前記音モデルを特定する、と、
入力環境音を表す入力音モデルを前記クライアントデバイスから受信するための手段と、
前記入力音モデルに類似する、前記サーバデータベースからの１つまたは複数の音モデルを特定するために、前記入力音モデルと前記音モデルの各々との間の類似性値を決定するための手段と、
前記特定された音モデルに関連付けられた１つまたは複数のラベルから、ラベルを選択するための手段と、
前記選択されたラベルの信頼性レベルに基づいて、前記選択されたラベルを前記入力環境音に関連付けるための手段と、を備えるコンピュータシステム。
［Ｃ１０４］
前記信頼性レベルが所定の信頼性しきい値よりも大きいかそれに等しい場合、前記選択されたラベルと、前記１つまたは複数の音モデルとを、前記クライアントデバイスに提供するための手段をさらに備える、Ｃ１０３に記載のコンピュータシステム。
［Ｃ１０５］
前記提供手段が、前記１つまたは複数の音モデルの各々に関連付けられた場所および時間情報のうちの少なくとも１つを、前記クライアントデバイスにさらに提供する、Ｃ１０４に記載のコンピュータシステム。
［Ｃ１０６］
前記受信手段は、前記入力音モデルに関連付けられた場所および時間のうちの少なくとも１つを、前記クライアントデバイスからさらに受信し、
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた場所および時間のうちの少なくとも１つをさらに記憶する、Ｃ１０４に記載のコンピュータシステム。
［Ｃ１０７］
前記決定手段は、それに対する前記入力音モデルの前記類似性値が決定される前記音モデルを特定するために、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つに基づいて、前記記憶手段の前記複数の音モデルをフィルタ処理する、Ｃ１０６に記載のコンピュータシステム。
［Ｃ１０８］
前記記憶手段は、前記環境音の音モデルの各々に関連付けられた以前の発生情報をさらに記憶し、
前記記憶手段からの前記１つまたは複数の音モデルは、前記以前の発生情報に基づいて特定される、Ｃ１０６に記載のコンピュータシステム。
［Ｃ１０９］
前記提供手段が、前記信頼性レベルが前記所定の信頼性しきい値未満である場合、前記入力環境音の認識における失敗の標示を前記クライアントデバイスにさらに提供し、
前記決定手段は、前記入力音モデルに関連付けられた前記場所および時間のうちの少なくとも１つにマッチする場所および時間のうちの少なくとも１つで、音モデルのセットをさらに特定し、前記音モデルのセットから、前記入力音モデルとの最大の類似性を有する音モデルを特定し、
前記更新手段が、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとの間の前記類似性が、所定の類似性しきい値よりも大きいかそれに等しい場合、前記入力音モデルと、前記最大の類似性を有する前記特定された音モデルとをマージする、Ｃ１０６に記載のコンピュータシステム。
［Ｃ１１０］
前記更新手段は、前記入力音モデルと前記特定された音モデルとの間の前記類似性が前記所定の類似性しきい値未満である場合、前記入力音モデルを前記記憶手段に記憶する、Ｃ１０９に記載のコンピュータシステム。
［Ｃ１１１］
前記選択されたラベルは、前記特定された音モデルの中で最も多くの数の音モデルに関連付けられる、Ｃ１０３に記載のコンピュータシステム。
［Ｃ１１２］
別のラベルが、前記特定された音モデルからの２番目に多数の音モデルに関連付けられ、
前記信頼性レベルは、前記最も多くの数に関連付けられた前記音モデルの前記類似性値の合計と、前記２番目に多数に関連付けられた前記音モデルの前記類似性値の合計との間の差に基づいて決定される、Ｃ１１１に記載のコンピュータシステム。
［Ｃ１１３］
前記選択手段は、前記特定された音モデルに関連付けられた前記ラベルに基づいて、前記特定された音モデルを、１つまたは複数の音モデルのセットにグループ化し、最大の合計を決定するために、前記セットの各々における音モデルの前記類似性値の合計を計算し、前記最大の合計を有する前記セットのうちの１つに関連付けられたラベルを選択する、Ｃ１０３に記載のコンピュータシステム。
［Ｃ１１４］
２番目に大きい合計が、前記類似性値の前記合計の中で特定され、前記信頼性レベルが、前記最大の合計と前記２番目に大きい合計との間の差に基づいて決定される、Ｃ１１３に記載のコンピュータシステム。
［Ｃ１１５］
前記信頼性レベルは、前記選択されたラベルに関連付けられた前記音モデルの前記類似性値の合計に基づいて決定される、Ｃ１０３に記載のコンピュータシステム。
［Ｃ１１６］
前記入力音モデルとの最大の類似性値を有する音モデルは、前記選択されたラベルに関連付けられた前記音モデルの中で特定され、
前記信頼性レベルは、前記最大の類似性値を有する前記音モデルと、関連付けられた反モデルとの間の類似性に基づいて決定される、Ｃ１０３に記載のコンピュータシステム。
［Ｃ１１７］
前記受信手段は、前記提供されたラベルが前記入力環境音にマッチするかどうかについて、前記クライアントデバイスのユーザから入力をさらに受信し、
前記コンピュータシステムは、前記ユーザからの前記入力を用いて、前記サーバデータベースを更新するための手段をさらに備える、Ｃ１０４に記載のコンピュータシステム。
【図１】
0005813789.tif 000007
【図２】
0005813789.tif 000008
【図３】
0005813789.tif 000009
【図４Ａ】
0005813789.tif 000010
【図４Ｂ】
0005813789.tif 000011
【図４Ｃ】
0005813789.tif 000012
【図４Ｄ】
0005813789.tif 000013
【図５】
0005813789.tif 000014
【図６】
0005813789.tif 000015
【図７】
0005813789.tif 000016
【図８】
0005813789.tif 000017
【図９】
0005813789.tif 000018
【図１０】
0005813789.tif 000019
【図１１】
0005813789.tif 000020