(57)【特許請求の範囲】
【請求項１】
転写モデルをトレーニングするための、コンピュータによって実施される方法であって、
発話のセットにおける各発話に対し、
スペクトログラムフレームのセットを含む発話を、該スペクトログラムフレームのセットからの各スペクトログラムフレームを評価する前記転写モデルの第一層に、一つ又は複数のスペクトログラムフレームのコンテキストとともに入力するステップと、
前記転写モデルから前記発話に対する予測文字又は予測文字確率を出力するステップと、
損失を計算して前記発話に対する予測誤差を測定するステップと、
を含み、前記方法は、さらに、
グランドトゥルース文字が与えられた場合に、前記転写モデルの予測出力の勾配を評価するステップと、
バックプロパゲーションを使用して前記転写モデルを更新するステップと、
を含み、
前記方法は、前記転写モデルの第一層に入力する前に、前記発話のセットにおける少なくともいくつかの発話を揺らすステップをさらに含み、
前記転写モデルの第一層に入力する前に、前記発話のセットにおける少なくともいくつかの発話を揺らすステップは、
発話のオーディオファイルを一つ又は複数の時間値で平行移動することにより、該発話に対する発話のジッターセットを生成するステップと、
前記発話のジッターセットと前記発話とを、スペクトログラムのセットに変換するステップと、
前記転写モデル又は転写モデルのセットから前記スペクトログラムのセットの出力結果を取得するステップと、
前記スペクトログラムのセットの出力結果を平均化して、前記オーディオファイルの出力を取得するステップと、
を含む、方法。
【請求項２】
前記転写モデルのトレーニングで使用するためのトレーニングデータのセットに対し、一つ又は複数の発話を生成するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記転写モデルのトレーニングで使用するためのトレーニングデータのセットに対し、一つ又は複数の発話を生成するステップは、
人が発話を録音するときに、前記人にヘッドフォンを着けさせるステップと、
前記発話のデータ収集期間に、前記人が着けているヘッドフォンを介して背景ノイズを出すことにより、ロンバード効果を意図的に誘導するステップと、
前記背景ノイズを捕捉することなく、マイクロフォンを介して前記人のロンバード効果のある発話を捕捉するステップと、
を含む、請求項２に記載の方法。
【請求項４】
前記転写モデルのトレーニングで使用するためのトレーニングデータのセットに対し、一つ又は複数の発話を生成するステップは、
認可されたノイズクリップのセットから選択された一つ又は複数のノイズクリップを加えてノイズトラックを形成するステップと、
オーディオファイルに対する前記ノイズトラックの信号対雑音比を調節するステップと、
調節されたノイズトラックを前記オーディオファイルに加えて、合成ノイズオーディオファイルを形成するステップと、
前記合成ノイズオーディオファイルを前記トレーニングデータのセットに加えるステップと、
を含む、請求項２に記載の方法。
【請求項５】
前記認可されたノイズクリップのセットは、
候補ノイズクリップのセットを収集するステップと、
前記候補ノイズクリップのセットからのノイズクリップの各々が評価されるまで、
前記候補ノイズクリップのセットから候補ノイズクリップを評価用に選択するステップと、
前記候補ノイズクリップの周波数帯域での平均パワーが実際のノイズ記録で観測される周波数帯域での平均パワーと著しく異ならないことに応答して、前記候補ノイズクリップを前記認可されたノイズクリップのセットに加えるステップと、
前記候補ノイズクリップの周波数帯域での平均パワーが実際のノイズ記録で観測される平均パワーと著しく異なることに応答して、前記候補ノイズクリップを捨てるステップと、
を繰り返すステップと、
を実行することにより生成される、請求項４に記載の方法。
【請求項６】
前記転写モデルのトレーニングに一回又は複数回の最適化を組み込むステップをさらに含み、
該ステップは、
一回又は複数回のデータ並列化を組み込むステップと、
モデル並列化を組み込むステップと、
前記転写モデルの第一層への入力をストライド処理するステップと、
を含む、請求項１に記載の方法。
【請求項７】
一回又は複数回のデータ並列化を組み込むステップは、
各処理装置が個別のミニバッチの発話を処理する、複数の処理ユニットにわたって、前記転写モデルの複数のコピーを使用するステップと、
各反復期間において、処理ユニットからの、計算された勾配をそのピアと結合するステップと、
を含む、請求項６に記載の方法。
【請求項８】
一回又は複数回のデータ並列化を組み込むステップは、
単一の行列に複数の発話を連結させることにより、各処理ユニットに複数の発話を並行して処理させるステップと、
発話を長さによって分類し、似たサイズの発話をミニバッチに結合し、与えられたミニバッチにおけるすべての発話が同じ長さを有するように、発話を無音でパッディングするステップと、
を含む、請求項６に記載の方法。
【請求項９】
音声を転写するための、コンピュータによって実施される方法であって、
ユーザから入力オーディオを受信するステップと、
前記入力オーディオを正規化して、前記入力オーディオの総パワーを、トレーニングされたニューラルネットワークモデルをトレーニングするのに使用されたトレーニングサンプルのセットの総パワーと一致させるステップと、
前記正規化された入力オーディオを一つ又は複数の時間値で平行移動することにより、前記正規化された入力オーディオからオーディオファイルのジッターセットを生成するステップと、
前記正規化された入力オーディオを含む前記オーディオファイルのジッターセットからの各オーディオファイルに対し、
各オーディオファイルに対してスペクトログラムフレームのセットを生成するステップと、
前記オーディオファイルを、スペクトログラムフレームのコンテキストとともに、トレーニングされたニューラルネットワークに入力するステップと、
前記トレーニングされたニューラルネットワークから予測文字確率出力を取得するステップと、
前記予測文字確率出力からの文字列を一つ又は複数の単語として解釈する言語モデルによって制約される前記トレーニングされたニューラルネットワークからの前記予測文字確率出力を使用して、前記入力オーディオの転写を復号化するステップとを含むステップと、
を含む、方法。
【請求項１０】
各オーディオファイルに対してスペクトログラムフレームのセットを生成するステップは、
第二ミリ秒値によってストライド処理される第一ミリ秒値の窓で計算される線形離隔された対数フィルタバンクのセット、を含む各スペクトログラムフレームを生成するステップ、
を含む、請求項９に記載の方法。
【請求項１１】
前記オーディオファイルを、スペクトログラムフレームのコンテキストとともに、トレーニングされたニューラルネットワークに入力するステップは、
前記オーディオファイルを、スペクトログラムフレームのコンテキストとともに、複数のトレーニングされたニューラルネットワークに入力するステップ、
を含み、
前記トレーニングされたニューラルネットワークから予測文字確率出力を取得するステップは、
前記トレーニングされたニューラルネットワークのセットからの予測文字確率出力を組み合わせて、予測文字確率を取得するステップ、
を含む、請求項９に記載の方法。
【請求項１２】
前記トレーニングされたニューラルネットワークのセットからの予測文字確率出力を組み合わせて、予測文字確率を取得するステップは、
前記トレーニングされたニューラルネットワークモデル間のタイムシフトを、
同じタイムシフトを示すニューラルネットワークモデルを使用するステップと、
ニューラルネットワークモデルの出力間の位置合わせをチェックし、該出力のうちの一つ又は複数の出力をシフトさせて、該出力を位置合わせするステップと、
位置合わせされた出力を有するように、前記ニューラルネットワークモデルのうちの一つ又は複数への入力をシフトさせるステップと、
のうちの一つ又は複数のステップを使用することにより処理するステップ、
を含む、請求項１１に記載の方法。
【請求項１３】
前記文字列を一つ又は複数の単語として解釈する言語モデルによって制約される前記トレーニングされたニューラルネットワークからの前記予測文字確率出力を使用して、前記入力オーディオの転写を復号化するステップは、
前記トレーニングされたューラルネットワークからの前記予測文字確率出力が与えられた場合、サーチを実行して、前記予測文字確率出力と、該予測文字確率出力からの文字列を一つ又は複数の単語として解釈する、トレーニングされたＮグラム言語モデルと、の両方に基づいて、最も可能性の高い文字シーケンスを見つけるステップ、
を含む、請求項９に記載の方法。
【請求項１４】
前記ニューラルネットワークモデルは、五層のモデルを含み、
該五層のモデルは、
非回帰である三つの層の第一セットと、
一方のセットがフォワード回帰を有し、他方のセットがバックワード回帰を有する二つのセットの隠れユニットを含む双方向回帰ネットワークである第四層と、
前記第四層から入力としてフォワードユニット及びバックワードユニットからの出力を受け取り、前記予測文字確率を出力する、非回帰の層である第五層と、
を含む、請求項９に記載の方法。
【請求項１５】
ユーザから入力オーディオを受信するユニットと、
オーディオファイルからスペクトログラムフレームのセットを生成するユニットと、
前記オーディオファイルをスペクトログラムフレームのコンテキストとともに、トレーニングされたニューラルネットワークのセットに入力するユニットと、
前記トレーニングされたニューラルネットワークのセットから予測文字確率出力を取得するユニットと、
前記予測文字確率出力からの文字列を一つ又は複数の単語として解釈する言語モデルによって制約される前記トレーニングされたニューラルネットワークのセットからの前記予測文字確率出力を使用して、前記入力オーディオの転写を復号化するユニットと、
を備え、
前記トレーニングされたニューラルネットワークのセットに入力する前に、前記オーディオファイルにおける少なくともいくつかのオーディオファイルを揺らすユニットをさらに備え、
前記トレーニングされたニューラルネットワークのセットに入力する前に、前記オーディオファイルにおける少なくともいくつかのオーディオファイルを揺らすユニットは、
前記オーディオファイルを一つ又は複数の時間値で平行移動することにより、当該オーディオファイルに対するオーディオファイルのジッターセットを生成するユニットと、
前記オーディオファイルのジッターセットと前記オーディオファイルとを、スペクトログラムのセットに変換するユニットと、
前記ニューラルネットワーク又はニューラルネットワークのセットから前記スペクトログラムのセットの出力結果を取得するユニットと、
前記スペクトログラムのセットの出力結果を平均化して、前記オーディオファイルの出力を取得するユニットと、を備える音声を転写する装置。
【請求項１６】
スペクトログラムフレームのセットを生成するユニットは、
第二ミリ秒値によってストライド処理された第一ミリ秒値の窓で計算される、線形離隔された対数フィルタバンクのセット、を含む各スペクトログラムフレームを生成するユニット、
を含む、請求項１５に記載の、音声を転写する装置。
【請求項１７】
前記トレーニングされたニューラルネットワークのセットから予測文字確率出力を取得するユニットは、
前記トレーニングされたニューラルネットワークのセットからの予測文字確率出力を組み合わせて、予測文字確率を取得するユニット、
を含む、請求項１５に記載の、音声を転写する装置。
【請求項１８】
前記トレーニングされたニューラルネットワークのセットからの予測文字確率出力を組み合わせて、予測文字確率を取得するユニットは、
同じタイムシフトを示すニューラルネットワークモデルを使用するユニットと、
ニューラルネットワークモデルの出力間の位置合わせをチェックし、該出力のうちの一つ又は複数の出力をシフトさせて、該出力を位置合わせするユニットと、
位置合わせされた出力を有するように、前記ニューラルネットワークモデルのうちの一つ又は複数への入力をシフトさせるユニットと、
のうちの一つ又は複数のユニットを使用することにより、トレーニングされたニューラルネットワークモデル間のタイムシフトを処理するユニット、
を含む、請求項１７に記載の、音声を転写する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１５年６月９日に出願された、発明者がＡｗｎｉ  Ｈａｎｎｕｎ、Ｃａｒｌ  Ｃａｓｅ、Ｊａｒｅｄ  Ｃａｓｐｅｒ、Ｂｒｙａｎ  Ｃａｔａｎｚａｒｏ、Ｇｒｅｇｏｒｙ  Ｄｉａｍｏｓ、Ｅｒｉｃｈ  Ｅｌｓｅｎ、Ｒｙａｎ  Ｐｒｅｎｇｅｒ、Ｓａｎｊｅｅｖ  Ｓａｔｈｅｅｓｈ、Ｓｈｕｂｈａｂｒａｔａ  Ｓｅｎｇｕｐｔａ、Ａｄａｍ  Ｃｏａｔｅｓ、及びＡｎｄｒｅｗ  Ｙ．Ｎｇであり、タイトルが「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＳＰＥＥＣＨ  ＴＲＡＮＳＣＲＩＰＴＩＯＮ（音声転写用のシステム及び方法）」である、同一出願人による同時係属中の米国特許出願第１４／７３５，００２号（整理番号２８８８８−１９１０）に対する優先権の利益を主張する。該米国特許出願第１４／７３５，００２号は、同一出願人による同時係属中の、（１）２０１４年１２月１５日に出願された、発明者がＡｗｎｉ  Ｈａｎｎｕｎ、Ｃａｒｌ  Ｃａｓｅ、Ｊａｒｅｄ  Ｃａｓｐｅｒ、Ｂｒｙａｎ  Ｃａｔａｎｚａｒｏ、Ｇｒｅｇ  Ｄｉａｍｏｓ、Ｅｒｉｃｈ  Ｅｌｓｅｎ、Ｒｙａｎ  Ｐｒｅｎｇｅｒ、Ｓａｎｊｅｅｖ  Ｓａｔｈｅｅｓｈ、Ｓｈｕｂｈｏ  Ｓｅｎｇｕｐｔａ、Ａｄａｍ  Ｃｏａｔｅｓ、及びＡｎｄｒｅｗ  Ｙ．Ｎｇであり、タイトルが「ＤＥＥＰ  ＳＰＥＥＣＨ：ＳＣＡＬＩＮＧ  ＵＰ  ＥＮＤ−ＴＯ−ＥＮＤ  ＳＰＥＥＣＨ  ＲＥＣＯＧＮＩＴＩＯＮ（深層音声：スケーリングアップエンドツーエンドの音声認識）」である米国特許出願第６２／０９２，２５１号（整理番号２８８８８−１９０８Ｐ）、及び（２）２０１４年１２月１７日に出願された、発明者がＡｗｎｉ  Ｈａｎｎｕｎ、Ｃａｒｌ  Ｃａｓｅ、Ｊａｒｅｄ  Ｃａｓｐｅｒ、Ｂｒｙａｎ  Ｃａｔａｎｚａｒｏ、Ｇｒｅｇ  Ｄｉａｍｏｓ、Ｅｒｉｃｈ  Ｅｌｓｅｎ、Ｒｙａｎ  Ｐｒｅｎｇｅｒ、Ｓａｎｊｅｅｖ  Ｓａｔｈｅｅｓｈ、Ｓｈｕｂｈｏ  Ｓｅｎｇｕｐｔａ、Ａｄａｍ  Ｃｏａｔｅｓ、及びＡｎｄｒｅｗ  Ｙ．Ｎｇであり、タイトルが「ＤＥＥＰ  ＳＰＥＥＣＨ：ＳＣＡＬＩＮＧ  ＵＰ  ＥＮＤ−ＴＯ−ＥＮＤ  ＳＰＥＥＣＨ  ＲＥＣＯＧＮＩＴＩＯＮ（深層音声：スケーリングアップエンドツーエンドの音声認識）」である米国特許出願第６２／０９３，０５７号（整理番号２８８８８−１９１０Ｐ）に対する３５ＵＳＣ§１１９（ｅ）に基づく優先権の利益を主張する。当該特許文献の各々は、参照することによりその全体が本願明細書中に組み込まれる。
【０００２】
（技術分野）
本発明は、データ処理に関する。具体的に、本発明は音声からテキストへの転写を向上させるためのシステム及び方法に関する。
【背景技術】
【０００３】
コンピューティングデバイスは、ますます普及して来ている。コンピューティングデバイスは、多様な方式、多様な設定で使用され、且つ多様なフォームファクタで出現する。例えば、コンピューティングデバイスは、電気製品（例えば、テレビ、冷蔵庫、及びサーモスタット）、モバイルデバイス（例えばスマートフォン及びタブレット）、及び装着型デバイス（例えばスマートウォッチ）に使用されている。
【０００４】
コンピューティングデバイスの拡大し続けるフォームファクタと使用はまた、これらのデバイスとインターフェースするための、より良い方法の発見につながった。限られたスペース又は限られた入出力能力を有するコンピューティングデバイスを扱う場合、インターフェースの問題は特に深刻である。
【０００５】
また、デバイスのインターフェース機能に関わらず、改善されたインターフェースが常に必要である。より簡単な、又は、より自然なインターフェースが著しい競争優位を提供できる。ますます注目を浴びる一つのインターフェース領域は、音声認識の領域である。
【０００６】
最上の音声認識システムは、通常、複数のアルゴリズムと、手作業で設計する処理ステージとからなる非常に高度なパイプラインに依存する。従来の音声システムは、専門的な入力特徴、音響モデル、及び隠れマルコフモデル（ＨＭＭ）を含む、多くの高度に設計された処理ステージを使用する。これらのパイプラインを改善するために、領域専門家は、通常、機能やモデルを調整するために多大な労力を費やしている。深層学習アルゴリズムの導入は、通常、音響モデルを改善することによって、音声システムの性能を改善している。この改善は顕著であるが、深層学習は、従来の音声パイプラインにおいて、限られた役割しか果たしていない。その結果、ノイズのある環境での音声認識などのタスクの性能を向上させるため、頑健性（ロバスト性）のためにシステムの残りの部分を苦労して設計しなければならない。
【０００７】
したがって、改善された音声−テキスト変換を提供するシステム及び方法が必要である。
【発明の概要】
【０００８】
本願は、転写モデルをトレーニングするための、コンピュータによって実施される方法、音声を転写するための、コンピュータによって実施される方法、及び音声を転写する装置を提供することを目的とする。
【０００９】
本発明の様態において、転写モデルをトレーニングするための、コンピュータによって実施される方法を提供し、この方法は、発話セットにおける発話のそれぞれに対し、スペクトログラムフレームのセットを含む発話と、一つ又は複数のスペクトログラムフレームのコンテキストと、を前記転写モデルの第一層に入力し、前記第一層が前記スペクトログラムフレームのセットからの各スペクトログラムフレームを評価し、前記転写モデルから前記発話に対する予測文字（キャラクタ）又は文字（キャラクタ）確率を出力し、損失を計算して前記発話に対する予測誤差を測定するステップと、グランドトゥルース文字が与えられた場合、前記転写モデルの予測出力の勾配を評価するステップと、バックプロパゲーションを使用して前記転写モデルを更新するステップと、を含む。
【００１０】
もう一つの様態において、音声を転写するための、コンピュータによって実施される方法を提供し、この方法は、ユーザから入力オーディオを受信するステップと、前記入力オーディオを正規化して、前記入力オーディオの総パワーを、トレーニング後のニューラルネットワークモデルをトレーニングするためのトレーニングサンプルのセットの総パワーと一致させるステップと、正規化された入力オーディオを一つ又は複数の時間値で平行移動することにより、正規化された入力オーディオからオーディオファイルのジッターセットを生成するステップと、オーディオファイルの、正規化された入力オーディオを含む前記ジッターセットからの各オーディオファイルに対し、スペクトログラムフレームのセットを生成し、前記オーディオファイルを、スペクトログラムフレームのコンテキストとともに、トレーニング後のニューラルネットワークに入力し、前記トレーニング後のニューラルネットワークから予測文字確率出力を取得し、前記トレーニング後のニューラルネットワークから取得された前記予測文字確率出力を使用して前記入力オーディオの転写を復号化し、ここで、前記トレーニング後のニューラルネットワークが前記予測文字確率出力からの文字列を一つの単語（ワード）又は複数の単語（ワード）に解釈する言語モデルに制約されるステップと、を含む。
【００１１】
さらにもう一つの様態において、音声を転写する装置を提供し、この装置は、ユーザから入力オーディオを受信するユニットと、オーディオファイルからスペクトログラムフレームのセットを生成するユニットと、前記オーディオファイルを、スペクトログラムフレームのコンテキストとともに、トレーニング後のニューラルネットワークのセットに入力するユニットと、前記トレーニング後のニューラルネットワークのセットから予測文字確率出力を取得するユニットと、前記トレーニング後のニューラルネットワークのセットから取得された前記予測文字確率出力を使用して、前記入力オーディオの転写を復号化し、前記トレーニング後のニューラルネットワークのセットが前記予測文字確率出力からの文字列を一つの単語（ワード）又は複数の単語（ワード）に解釈する言語モデルに制約されるユニットと、を含む。
【００１２】
例として添付図面に示される本発明の実施形態を参照する。これらの図面は、説明を意図するものであり、制限を意図するものではない。本発明は、これらの実施形態の文脈において説明するが、本発明の範囲をこれらの特定の実施形態に制限することを意図していないことは、理解されるべきである。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態によるニューラルネットワークモデル又はニューラルネットワークモデルのセットをトレーニングする方法を示す図である。
【図２】本発明の実施形態によるニューラルネットワークモデルを示す図である。
【図３】本発明の実施形態によるニューラルネットワークモデルのトレーニング中にジッターサンプルを使用する方法を示す図である。
【図４】本発明の実施形態によるニューラルネットワークモデルのセットを組み合わせる方法を示す図である。
【図５】本発明の実施形態による言語モデルを使用してニューラルネットワークモデルの出力を制約する方法を示す図である。
【図６】本発明の実施形態によるニューラルネットワークモデルの性能を向上させる方法を示す図である。
【図７Ａ】本発明の実施形態によるデータ並列化の方法を示す図である。
【図７Ｂ】本発明の実施形態によるデータ並列化の方法を示す図である。
【図８】本発明の実施形態によるモデル並列化の方法を示す図である。
【図９】本発明の実施形態による、データをストライディング（ストライド処理）する方法を示す図である。
【図１０】本発明の実施形態によるノイズオーディオクリップのセットを収集する方法を示す図である。
【図１１】本発明の実施形態による合成ノイズサンプルを生成する方法を示す図である。
【図１２】本発明の実施形態によるロンバード効果（Lombard-effect）のオーディオサンプルを生成する方法を示す図である。
【図１３】本発明の実施形態によるトレーニングされたニューラルネットワークモデル又はトレーニングされたニューラルネットワークモデルのセットを用いる方法を示す図である。
【図１４】本発明の実施形態によるコンピューティングシステムの簡略化したブロック図である。
【発明を実施するための形態】
【００１４】
以下の記述において、説明目的で、特定の細部を記載して本発明への理解を与える。なお、当業者にとっては、これらの細部がない場合でも本発明を実施できることは明らかである。また、本発明の下記実施形態を、プロセス、装置、システム、機器（デバイス）、又は有形のコンピュータ可読媒体における方法、のような様々な方式で実施できることを当業者は理解すべきである。
【００１５】
図面に示す構成要素（コンポーネント）又はモジュールは、本発明の例示的な実施形態を説明するためのものであり、本発明を不明瞭にすることを避けるように意図されている。本明細書を通して、構成要素は、別個の機能ユニット（サブユニットを含む）として記述されているが、当業者は、各種構成要素又はその一部分が別個の構成要素に分割されてもよいし、統合されてもよい（単一のシステム又は構成要素内に統合されることを含む）ことを認識するであろうことも理解されるべきである。本明細書で説明される機能又は動作は、構成要素として実施されてもよいことに留意すべきである。構成要素は、ソフトウェア、ハードウェア、又はそれらの組み合わせで実施されてもよい。
【００１６】
さらに、図面内の構成要素又はシステムの間の接続は直接接続に限定されない。むしろ、これら構成要素間のデータは、中間構成要素によって修正、再フォーマット、さもなければ変更されてもよい。また、追加の接続又はより少ない接続を使用してもよい。また、用語「結合される」、「接続される」、又は「通信結合される」は、直接接続、１つ又は複数の中間デバイスを介した間接接続、及び無線接続を含むことを理解すべきであることにも留意すべきである。
【００１７】
本明細書において、「一実施形態」、「好ましい実施形態」、「一つの実施形態」、又は「複数の実施形態」とは、実施形態に関連して記述される特定の特徴、構造、特性、又は機能が、本発明の少なくとも一つの実施形態に含まれ、且つ二つ以上の実施形態に存在してもよいことを意味する。また、本明細書の複数箇所において現れる上記フレーズは、必ずしも全て同じ１つ又は複数の実施形態を参照するとは限らない。本明細書の様々な場所における或る用語の使用は、例示のためのものであり、限定と解釈されるべきではない。本明細書で用いられる見出しは、全て構成上の目的のためのみであり、本明細書又は特許請求の範囲を限定するために使用したものではない。
【００１８】
更に、（１）一部のステップが選択的に実施されてもよい、（２）ステップは本明細書で説明される特定の順番に制限されなくてもよい、（３）一部のステップは異なる順番で実行してもよい、及び（４）一部のステップは同時に実行してもよい、ことを、当業者は理解すべきである。
【００１９】
Ａ．序論
本明細書において、エンドツーエンドの音声システムの実施形態が提示される。該エンドツーエンド音声システムは、本明細書において、「深層音声（Deep Speech）」として参照されることがあり、そこでは、深層学習が、従来の方法における複数のアルゴリズム、及び手作業により設計される処理ステージに取って代わる。実施形態において、この方法は、言語モデルと組み合わされて、困難な音声認識タスクに関する従来の方法よりも高い性能を達成する一方、ずっと簡単でもある。実施形態において、これらの結果は、複数のグラフィックス処理ユニット（ＧＰＵ）及び何千時間ものデータを使用して大規模な再帰型ニューラルネットワーク（recurrent neural network：ＲＮＮ）をトレーニングすることにより達成することができる。このシステムの実施形態は、データから直接に学習するため、話者適応又はノイズフィルタリングのための専用構成要素は必要とされない。実際に、話者変更（speaker variation）及びノイズに対する頑健性（ロバスト性）が重要である設定において、本発明の実施形態は次のように優れている。本明細書においてさらに述べるように、深層音声は、Ｓｗｉｔｃｈｂｏａｒｄ  Ｈｕｂ５’００コーパス（corpus）上で従来公開された方法より性能が優れており、１６．５％の誤り率を達成し、且つノイズの多い音声認識テストにおいて商用システムよりも良い性能を示す。
【００２０】
しかしながら、エンドツーエンドの深層学習の利益を利用することは、いくつかの課題をもたらすことに留意すべきである。即ち、（ｉ）大規模なラベル付きのトレーニングセットを構築するために、革新的な方法を見つけること、及び（ｉｉ）このデータのすべてを効率的に利用するのに十分大きなネットワークをトレーニングする方法を見つけること、である。音声システムにおけるラベル付きデータを取り扱うことに対する一つの課題は、入力された音声とのテキスト転写のアラインメント（alignment：位置合わせ）を見つけることである。この課題は、以前に解決されたため、位置合わせされていない、転写されたオーディオをトレーニング中にニューラルネットワークが容易に消費する（consume）ことを可能にする。それと同時に、大規模なニューラルネットワークを速くトレーニングするための方法が提案され、マルチＧＰＵ計算のスピード優位性が実証された。実施形態において、これらの洞察は、大規模な音声データセットとスケーラブルなＲＮＮのトレーニングに基づいて、もっと複雑な従来方法をしのぐことのできる汎用学習システムの展望を実現するために利用される。この展望は、手作業により構築された音声機能に取って代わるように、早期教師なし特徴学習技術を適用した作業により部分的に引き出された。
【００２１】
実施形態において、ＧＰＵにうまくマッピングできるように、再帰型ニューラルネットワーク（ＲＮＮ）モデルが特別に開発された。なお、実施形態において、新たなモデルの分割構想を採用して並列化を向上させる。さらに、実施形態において、システムが学習し処理すべき歪みを表す大量のラベル付き音声データを集めるためのプロセスが開発された。本明細書に公開されたシステムの実施形態では、収集されたデータと合成データとの組み合わせを利用して、現実的なノイズ及び話者変更（ロンバード効果（Lombard effect）を含む）に対する頑健性を学習した。エンドツーエンドの音声システムの実施形態に構築されるこれらのアイデアは、従来のパイプラインより簡単であると同時に困難な音声タスク上でより良く動作もするシステムを生み出した。深層音声システムの実施形態は、完全なＳｗｉｔｃｈｂｏａｒｄ  Ｈｕｂ５’００のテストセットにおいて、１６．５％の誤り率を達成し、これは、もっともよい公開された結果である。なお、本発明者自身が構築した新たなノイズ音声認識データセットにおいて、深層音声システムの実施形態は、１９．１％の単語誤り率を達成した（最良の商用システムは、３０．５％の誤り率を達成した）。
【００２２】
本明細書において、新規な音声認識システム、新規なトレーニング方法、及びシステムの新規な使用方法の実施形態が提示される。以下において、最初に、再帰型ニューラルネットワークモデル及びトレーニングフレームワークの実施形態が提示され、次に、最適化された実施形態の説明と、データ捕捉及びデータ合成の実施形態の説明が提示される。最後に、深層音声システムの実施形態の最先端性能を示す使用結果及び実験結果が提示される。
【００２３】
Ｂ．再帰型ニューラルネットワーク（ＲＮＮ）トレーニング
実施形態では、音声スペクトログラムを取得して英語テキスト転写を生成するために、再帰型ニューラルネットワーク（ＲＮＮ）をトレーニングする。単一の発話ｘ及びラベルｙがトレーニングセットからサンプリングされる場合：
【数１】
0006435403.tif 000002
ここで、各発話ｘ（ｉ）は長さＴ（ｉ）の時系列であり、全タイムスライスはオーディオ特徴
【数２】
0006435403.tif 000003
のベクトルである。
実施形態において、スペクトログラムを特徴として用いることができるので、
【数３】
0006435403.tif 000004
は、時間ｔにおけるオーディオフレーム内のｐ番目の周波数ビンのパワーを示す。実施形態において、ＲＮＮの目標は、
【数４】
0006435403.tif 000005
を用いて、入力シーケンスｘを、転写用文字（キャラクタ）確率のシーケンスｙに変換することである。ここで、
【数５】
0006435403.tif 000006
である。
【００２４】
図１は、本発明の実施形態に係るニューラルネットワークモデル又はニューラルネットワークモデルのセットをトレーニングするための方法を示す。実施形態において、スペクトログラムフレームの時系列ｘ（ｔ）を含む発話ｘは、Ｃ個のフレームのコンテキストを使用してスペクトログラムフレームの少なくとも幾つかを評価する再帰型ニューラルネットワーク（ＲＮＮ）モデルの第一層に入力される（１０５）。ここで、発話ｘは、関連するグラウンドトゥルース又は既知のラベルｙを有する。
【００２５】
実施形態において、ＲＮＮモデルは、５層の隠れユニットを含んでもよい。入力ｘに対し、層
【数６】
0006435403.tif 000007
における隠れユニットは、
【数７】
0006435403.tif 000008
で示される。慣例的に、ｈ（０）は入力である。
実施形態において、最初の三つの層は回帰性（循環性）ではない。第一層については、各時間ｔにおいて、出力は、Ｃ個のフレームのコンテキストとともに、スペクトログラムフレームｘｔに依存し、該Ｃ個のフレームのコンテキストは、片側又は両側からのコンテキストであってよい。したがって、実施形態では、コンテキストは、あるスペクトログラムフレームの前にあり、又は、そのスペクトログラムフレームの後にあり、又は、あるスペクトログラムフレームの前後にある一つ又は複数のスペクトログラムフレームを含むことができる。留意すべきことは、実施形態において、スペクトログラムフレームｘｔがクリップの端にある場合、コンテキストは片側からのものであってもよいし、あるいは、欠損側に付加されたデータを有するものであってもよいことである。実施形態において、フレームのコンテキストは、
【数８】
0006435403.tif 000009
であってもよいが、他の数のフレームを用いてもよい。
【００２６】
実施形態では、ＲＮＮモデルは、複数の隠れ層を通して計算する（１１０）。例えば、実施形態では、残りの非回帰（非循環）層は、各タイムステップに対し、独立データ上で動作する。したがって、各時間ｔに対し、最初の三つの層が、
【数９】
0006435403.tif 000010
によって計算される。
ここで、ｇ（ｚ）＝ｍｉｎ｛ｍａｘ｛０，ｚ｝，２０｝は、クリップされた正規化線形（ＲｅＬｕ）活性化関数であり、且つ、
【数１０】
0006435403.tif 000011
は、それぞれ層
【数１１】
0006435403.tif 000012
の重み行列とバイアスパラメータである。留意すべきことは、他の活性化関数を使用することができることである。実施形態において、ＲｅＬｕユニットは、回帰層中の活性化が爆発するのを妨げるためにクリップされる。実際のところ、該ユニットは、上限でめったに飽和しない。
【００２７】
実施形態において、第四層は、双方向回帰ネットワークである。実施形態において、この層は２組の隠れユニットを含み、１組は、フォワード回帰ｈ（ｆ）を有し、もう１組は、バックワード回帰ｈ（ｂ）を有する。
【数１２】
0006435403.tif 000013
【００２８】
留意すべきことは、実施形態において、ｈ（ｆ）は、ｉ番目の発話に対し、ｔ＝１からｔ＝Ｔ（ｉ）まで連続して計算される一方、ユニットｈ（ｂ）は、ｔ＝Ｔ（ｉ）からｔ＝１までの逆方向に連続して計算されることである。
【００２９】
実施形態において、第五（非回帰）層は、入力
【数１３】
0006435403.tif 000014
としてフォワードユニット及びバックワードユニットの両方をとる。
【００３０】
実施形態において、出力層は、各タイムスライスｔとアルファベットにおける文字ｋに対して予測文字確率を生み出す（１１５）標準ソフトマックス（softmax）関数である。
【数１４】
0006435403.tif 000015
ここで、
【数１５】
0006435403.tif 000016
は、それぞれ、重み行列のｋ番目の列と、ｋ番目のバイアスと、を示す。
【００３１】
【数１６】
0006435403.tif 000017
の予測値が計算されると（１１５）、予測値における誤差を測定するために、損失を計算する（１２０）。実施形態では、コネクショニスト時系列分類法（ＣＴＣ）の損失
【数１７】
0006435403.tif 000018
を使用して予測値における誤差を測定してもよいが、他の誤差測定技術を使用してもよい。トレーニング中、グランドトゥルース文字シーケンスｙが与えられたネットワーク出力に対して勾配
【数１８】
0006435403.tif 000019
が評価される（１２５）。この点から、全てのモデルパラメータに対する勾配の計算は、ネットワークの残り部分を通して、バックプロパゲーション（逆伝播）を用いて行われる（１３０）。実施形態では、Ｎｅｓｔｅｒｏｖの加速勾配法をトレーニングに使用してもよいが、他の技術を使用してもよい。実施形態では、０．９９の運動量が使用され、データを通して各エポック後に最速の収束を生み出すように選択された定数係数によって学習レートをアニール（anneal）してもよい。
【００３２】
図２に、完全なＲＮＮモデルの実施形態を示す。ＲＮＮモデルの実施形態の図形表現で示されるように、モデル２０５は、五つの層を含む。最初の三つの層（第一層２１０、第二層２１５及び第三層２２０）は、非回帰層であり、第一層２１０への入力は、スペクトログラムフレームｘｔ２４０と、Ｃ個のフレームのコンテキスト（例えば、Ｃ２４５）である。第四層２２５、２３０は、フォワード回帰ｈ（ｆ）２２５を有する１組の隠れユニットと、バックワード回帰ｈ（ｂ）２３０を有する１組の隠れユニットとを含む双方向回帰ネットワークである。最後に、図２に示したように、第五層は、非回帰層であり、該第五層は、第四層２２５、２３０のフォワードユニット及びバックワードユニットの両方の出力を入力として受信し、予測文字確率を出力する。
【００３３】
留意すべきことは、図２に示した構成は、他のモデルよりもずっと簡単であり、示した実施形態は、単一の回帰層（並列化するのが一番難しい）に限定され、また、該モデルは、長短期記憶（ＬＳＴＭ）回路を使用しないことである。
【００３４】
ＬＳＴＭセルの一つの欠点は、ＬＳＴＭセルが各ステップにおいて複数のゲーティングニューロン応答を計算して記憶する必要があるということである。フォワード回帰及びバックワード回帰は順次的であるため、実施形態において、この少量の付加コストが計算のボトルネックになる恐れがある。実施形態において、均質（homogeneous）モデルを使用することにより、回帰活性化の計算は効率化される。即ち、ＲｅＬｕの出力を計算することは、ＧＰＵにおける幾つかの高度に最適化されたＢＬＡＳ（Ｂａｓｉｃ  Ｌｉｎｅａｒ  Ａｌｇｅｂｒａ  Ｓｕｂｐｒｏｇｒａｍｓ）動作と、単一の点別（point-wise）非線形性のみに関係する。
【００３５】
１．正則化
モデルの実施形態が拡張データセットを用いてトレーニングされたが（データセット及び拡張データセットを生成するための方法の実施形態は、本明細書のセクション４において述べられる）、本明細書で用いられる回帰ネットワークの実施形態は、トレーニングデータとの適合がさらに得意である。実施形態において、さらに相違を低減するために、いくつかの技術を使用してもよい。実施形態において、トレーニングの期間中、ドロップアウト率（例えば５％）が適用された。実施形態において、ドロップアウト率は、フィードフォワード層において適用されたが、回帰隠れ活性化には適用されない。
【００３６】
ネットワーク評価中にコンピュータビジョンでよく使われる技術は、平行移動又は反射によって入力をランダムに揺らし、各揺らしたバージョンを、ネットワークを介して送り、結果をボーティング（vote：投票）又は平均化することである。しかし、これは音声認識において一般的ではなく、次の方法が有益であることが分かった。即ち、生のオーディオファイルを左及び右に５ミリ秒（これは、本明細書の実施形態で使用されるフィルタバンクのステップサイズの半分を表す）平行移動し、再計算された特徴をフォワードプロパゲーション（順伝播）し、結果に対して平均値を求めることである。
【００３７】
したがって、本発明の実施形態は、オーディオデータのジッターセットを生成し使用することを含む。図３は、本発明の実施形態に係るモデルのトレーニング中にジッターサンプルを用いるための方法を示す。実施形態では、オーディオファイルを一つ又は複数の時間値で平行移動することによって、オーディオファイルに対してオーディオファイルのジッターセットを生成する（３０５）。例えば、オーディオファイルは、時間において前に後に数ミリ秒（例えば、５ｍｓ）移動されることができる。オーディオファイルのジッターセット（対応するオリジナルのオーディオファイルを含む）をスペクトログラムのセットに変換し（３１０）、該スペクトログラムのセットは、モデル又はモデルのセットに入力される。実施形態において、該モデル又はモデルのセットからスペクトログラムのセットの出力結果を取得する（３１５）。対応するオーディオファイルの出力を取得するために、該スペクトログラムのセットの出力結果は、混ぜ合わされる（３２０）。実施形態において、平均化（例えば、平均値、中央値、又は最頻値（mode）を求める）、加重平均、又はボーティング（voting：投票）によって、混ぜ合わせを行うことができる。
【００３８】
実施形態では、テストタイムにおいて、いくつかのＲＮＮの組み合わせを使用してもよく、該組み合わせは、復号化の前に確率を平均化する。モデルのセットを使用することにより、よりよい結果を達成することができるが、モデル間にタイムシフトが存在する可能性がある。図４は、本発明の実施形態に係るニューラルネットワークモデルのセットを組み合わせるための方法を示す。図４に示すように、下記の方法のうちの一つ又は複数の方法を使用して、ニューラルネットワークモデルのセットの出力を組み合わせる場合のニューラルネットワークモデル間のタイムシフトという問題を処理することができる。これらの方法は、（ａ）同じタイムシフトを示すニューラルネットワークモデルを使用すること（４０５）、（ｂ）位置合わせされた出力を有するように、各種モデルへの入力をシフトさせること（４１０）、及び（ｃ）モデルの出力間の位置合わせをチェックし、一つ又は複数の出力をシフトさせて出力を位置合わせすること（４１５）、を含む。
【００３９】
例えば、ＲＮＮ出力確率の単純な平均化がそれとなく失敗することがあることに留意すべきである。実施形態では、ＣＴＣ損失関数は、ＲＮＮ出力の小さなタイムシフトに対して不可知であり、よって、いくつかの良さの同じようなネットワークは、基本的に同じ出力確率のシフトバージョンを生成することができる。単独で、これらのネットワークはよく動作するが、シフトされた確率を平均化することは、
【数１９】
0006435403.tif 000020
の推定に対し、もはや何の分散低減ももたらさず、実際に、性能の劣化をもたらす場合がよくある。この問題を解決するために、実施形態では、出力転写の開始点（onset）が同じ時刻で始まるモデルのみを結合する。手作業で出力をシフトさせることによりこれを達成することができるが、十分なネットワークは、シフトを整合させた集合が実験に利用可能であることをトレーニングされている。
【００４０】
２．言語モデル
大量のラベル付き音声データからトレーニングされる場合、ＲＮＮモデルの実施形態は、読取り可能な文字レベルの転写を生成するように学習することができる。実際、多くの転写に対し、トレーニングされたＲＮＮモデルの実施形態によって予測される最も可能性のある文字シーケンスは、外部の言語制約がない場合、完全に正確である。ＲＮＮによって生成された間違いは、音声学的にもっともらしい英単語の表現である傾向がある。表１はいくつかの例を示す。
【００４１】
表１：間違いのある、ＲＮＮの実施形態からの直接転写の例（左）、言語モデルを追加することにより間違いを修正した例（右）。
【表１】
0006435403.tif 000021
【００４２】
間違いの多くは、トレーニングセットにおいてめったに現れない単語（ワード）あるいは現れたことがない単語（ワード）で発生する。実際のところ、これは避けることが難しい。モデルが分る必要のある単語また言語構成の全てを理解するために、十分な音声データからトレーニングすることは、実現困難である。したがって、モデルの実施形態は、言語モデルを含むか、又は、言語モデルと統合される。実施形態では、これらのモデルは、膨大なラベルなしのテキストコーパスから容易にトレーニングされるので、Ｎグラムの言語モデルが使用される。比較のため、我々の音声データセットは、通常、三百万に至る発話を含むが、セクション６における実験に使用されるＮグラムの言語モデルは、２．２億のフレーズのコーパスからトレーニングされ、４９５，０００ワードの語彙を支援する。
【００４３】
図５は、本発明の実施形態に係る言語モデルを利用してニューラルネットワークモデルの出力を制約するための方法を示す。実施形態において、発話ｘに対する予測文字出力
【数２０】
0006435403.tif 000022
を取得する（５０５）。ＲＮＮモデルの出力
【数２１】
0006435403.tif 000023
が与えられた場合、ＲＮＮ出力と言語モデル（該言語モデルは、文字列を単語として解釈する）との両方に基づいて、最も可能性のある文字シーケンスｃ１、ｃ２、…を見付けるようにサーチ（検索）が実行される（５１０）。実施形態において、目的は、結合された対象
【数２２】
0006435403.tif 000024
を最大化するシーケンスｃを見つけることである。
ここで、α及びβは、ＲＮＮと、言語モデルの制約と、文の長さと、の間のトレードオフを制御する調節可能なパラメータ（クロス確認によって設定される）である。word_countは、ワード数を表す。項
【数２３】
0006435403.tif 000025
は、Ｎグラムモデルに係るシーケンスｃの確率を示す。実施形態では、ビームサーチアルゴリズムを使用して、この対象を最大にし、典型的ビームの大きさは、１０００〜８０００の範囲にある。
【００４４】
３．最適化
実施形態では、一回又は複数回の最適化を採用してモデルの動作を加速させることができる。図６は、本発明の実施形態に係るニューラルネットワークモデルの性能を向上させるための方法を示す。実施形態では、一回又は複数回の最適化を実施することができ（６０５）、（ａ）一回又は複数回のデータ並列化と、（ｂ）モデル並列化と、（ｃ）モデルの第一層への入力をストライディング（striding：ストライド処理）することと、を含む。
【００４５】
上記のように、実施形態は、高速実行、それ故、高速トレーニング、に適したニューラルネットワークを構成するためのいくつかの設計決定を含む。例えば、実施するのに簡単で、ほんの幾つかの高度に最適化されたＢＬＡＳコールにしか依存しない均質な正規化線形ネットワークを使用することにより、実行速度が支援される。十分に展開された（unrolled）場合、当該ネットワークの実施形態は、典型的な発話のための５０億に近い接続を含むので、効率的な計算は重要である。以下に説明するように、実施形態において，マルチＧＰＵトレーニングを使用することができるが、これを効率的に行うためには、幾つかの追加の作業が必要になることがある。
【００４６】
ａ）データ並列化
実施形態では、データの効率的処理を支援するために、データ並列化の二つのレベルを使用することができ、複数のデータセットを同時に処理することができる。図７Ａ及び図７Ｂは、本発明の実施形態に係るデータ並列化のための方法を示す。
【００４７】
最初に、各ＧＰＵは、図７Ａに示すように、複数の例を並行して処理することができる（７０５）。実施形態では、これは、単一の行列に複数の例を連結する（concatenate）ことによって行うことができる。例えば、回帰層において単一の行列・ベクトル乗算Ｗｒｈｔを実行するのではなく、ＷｒＨｔを計算することによって複数の仕事を並行して実行することができる。ここで、
【数２４】
0006435403.tif 000026
であり、
【数２５】
0006435403.tif 000027
は、時間ｔにおけるｉ番目の例ｘ（ｉ）に対応する。実施形態において、ＧＰＵは、Ｈｔが比較的範囲が広い（例えば、１０００個あるいはそれ以上の例）場合に、最も効率的であり、それ故、一つのＧＰＵでできるだけ多くの例を処理することが好ましい（例えば、ＧＰＵのメモリの限界まで）。
【００４８】
第２に、単一のＧＰＵがそれ自身上で支援することができるものより大きいミニバッチ又はデータセットを使用することが望まれる場合、図７Ｂに示すように、マルチＧＰＵにわたるデータ並列化を使用することができる。
【００４９】
図７Ｂに示すように、異なるＧＰＵ上でモデルのコピー（複製）を使用し（７１５）、各ＧＰＵは、個別のミニバッチの例を処理する。次に、実施形態では、各ＧＰＵは、各反復（ループ）の期間において、それが計算した勾配をそのピア（peer：仲間）と結合する（７２０）。実施形態では、複数のＧＰＵにわたる通常２×〜４×のデータ並列化が発明者により実験に使用された。
【００５０】
しかしながら、発話が異なる長さを有する場合、それらを単一の行列乗算に結合することができないので、データ並列化は、実施が容易ではない。実施形態では、トレーニングの例を長さに従って分類し、サイズが類似の発話のみをミニバッチに結合することにより、この問題を解決する（必要な場合、無音でパディングしてバッチ内の全ての発話が同じ長さを有するようにする）（７１０）。
【００５１】
ｂ）  モデル並列化
データ並列化は、適度な倍数のミニバッチサイズ（例えば２〜４）に対して、トレーニングの加速化を生み出すが、単一の勾配更新への、より多くの例のバッチ処理が、トレーニングの収束レートを改善するのに失敗した場合、収穫逓減に直面することがある。即ち、２×ＧＰＵほどで２×例ほどを処理することは、トレーニング中に常に２×の加速（スピードアップ）を生じるとは限らない。全体のミニバッチサイズを固定するが、例を２×ＧＰＵほどまで広げることも、非効率になる可能性がある。即ち、各ＧＰＵ内のミニバッチが縮小する場合、ほとんどの動作は、メモリバンド幅が制限される。さらに広げるために、実施形態では、モデルを分割することによる並列化（「モデル並列化」）を使用することができる。
【００５２】
回帰層の順次性のため、モデルのいくつかの実施形態は、並列化が困難である。双方向層は、独立のフォワード計算とバックワード計算からなるので、該二つの計算を並行して実行することは可能である。残念なことに、実施形態において、ＲＮＮを単純に分割してｈ（ｆ）及びｈ（ｂ）を別個のＧＰＵに配置することは、ｈ（ｆ）及びｈ（ｂ）の両方に依存するｈ（５）を計算する場合、かなりの量のデータ伝送を引き起こす。したがって、実施形態において、モデルに対する必要な通信の少ない、作業の異なる分割を選択することができ、モデルは、時間の次元に沿って半分に分割されてよい。
【００５３】
図８は、本発明の実施形態に係るモデル並列化のための方法を示す。実施形態では、回帰層を除く全ての層を時間次元に沿って自明に分解することができ、時系列の前半（ｔ＝１からｔ＝Ｔ（ｉ）／２まで）が一つのＧＰＵに割り当てられ、時系列の後半がもう一つのＧＰＵに割り当てられる。実施形態において、回帰層の活性化を計算する場合、第一ＧＰＵは、フォワード活性化ｈ（ｆ）の計算（８０５）を開始する一方、第二ＧＰＵは、バックワード活性化ｈ（ｂ）の計算（８０５）を開始する。中間点（ｔ＝Ｔ（ｉ）／２）において、二つのＧＰＵは、中間活性化
【数２６】
0006435403.tif 000028
を交換し、役割を交換する（８１０）。その後、第一ＧＰＵは、ｈ（ｂ）のバックワード計算を終了し、第二ＧＰＵは、ｈ（ｆ）のフォワード計算を終了する（８１５）。
【００５４】
ｃ）  ストライディング（ストライド処理）
回帰層は並列化を行うことが一番難しいので、本発明の実施形態は、「ステップ」（又はストライド）をとることによりＲＮＮの実施形態の回帰層の実行時間を低減する努力を含むことができる。図９は、本発明の実施形態に係るデータをストライディングするための方法を示す。
【００５５】
図９に示すように、展開されたＲＮＮがより少ないステップを有するように、オリジナルの入力においてステップサイズがｑ個のタイムスライス（例えばステップサイズは２）であるストライドをとることにより、回帰層に対する処理時間を短縮することができる。この方法は、第一層におけるステップサイズが２の畳み込みネットワークに類似している。実施形態では、ｃｕＤＮＮライブラリ（該ｃｕＤＮＮライブラリは、最適化された低レベルプリミティブのセットであり、カリフォルニア州サンタクララのＮＶＩＤＩＡによって作製されたＣＵＤＡ（商標）コンパチブルのＧＰＵにおける深層ニューラルネットワーク（ＤＮＮ）の処理速度を向上させるためのものである）を、この畳み込みの第一層を効率的に実施するために使用することができる。
【００５６】
４．トレーニングデータ
大規模な深層学習システムは、大量のラベル付きデータを必要とする。システムの実施形態をトレーニングするために、多くの記録された発話、及び対応する英語転写が必要であるが、十分な規模の公共データセットは少ない。モデルの実施形態をトレーニングするために、９６００人の話者からの５０００時間の朗読音声からなる広範囲のデータセットが収集された。比較のため、表２は、利用可能なラベル付きデータセットを要約する。
【００５７】
表２：深層音声の実施形態をトレーニングするために使用されるデータセットの概略である。Ｗａｌｌ  Ｓｔｒｅｅｔ  Ｊｏｕｒｎａｌ、Ｓｗｉｔｃｈｂｏａｒｄ、及びＦｉｓｈｅｒコーパスは、全てＬｉｎｇｕｉｓｔｉｃ  Ｄａｔａ  Ｃｏｎｓｏｒｔｉｕｍにより発行される（Ｌａｎｇｕａｇｅ  Ｒｅｓｏｕｒｃｅｓ  ａｎｄ  Ｅｖａｌｕａｔｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ（ＬＲＥＣ）におけるＣ．  Ｃｉｅｒｉ、Ｄ．  Ｍｉｌｌｅｒ、及びＫ．  Ｗａｌｋｅｒの「Ｔｈｅ  Ｆｉｓｈｅｒ  ｃｏｒｐｕｓ：ａ  Ｒｅｓｏｕｒｃｅ  ｆｏｒ  ｔｈｅ  Ｎｅｘｔ  Ｇｅｎｅｒａｔｉｏｎｓ  ｏｆ  Ｓｐｅｅｃｈ−ｔｏ−ｔｅｘｔ」、第４巻、ページ６９〜７１、２００４年、を参照のこと。その全体は、参照することにより、本明細書に組み込まれる）。
【表２】
0006435403.tif 000029
【００５８】
実施形態において、Ａｍａｚｏｎ  Ｍｅｃｈａｎｉｃａｌ  Ｔｕｒｋを介して有給ボランティアから音声データが記録された。各ボランティア（「ターカ（Turker）」）は、コンピュータのマイクロフォンに短いテキストプロンプトを読み込むように指示された。記録された音声及びこれに整合するテキスト転写がサーバのデータセットに追加された。この方法によって作成された朗読音声は、他のコンテキストで聞いた自発的な音声とは違うように聞こえるので、ターカは、できるだけ自然に話すように指示された。信頼されたターカの個別チームは、時たま品質管理の仕事を課せられ、記録された発話と転写とが整合していることを確認する。データセットが様々な話者を含み且ついくつかの主な貢献者に圧倒されていないことを確実にするために、ボランティアの貢献に対する蓋が実施された。実施形態において、ロンバード効果を誘導するために、ターカのコンピュータスピーカ又はヘッドセットを介してノイズもかけられた。これについては、以下でより詳しく説明する。
【００５９】
ａ）  重ね合わせによる合成
実施形態において、潜在的なトレーニングデータをさらに拡張するために、データ合成を使用した。実施形態において、目標は、従来システムが正常に動作しなくなる、ノイズがある環境において、性能を向上させることであった。しかしながら、ノイズのある環境からラベル付きデータ（例えば朗読音声）を捕捉することは現実的ではなく、それ故、本明細書において開示される他の方法がそのようなデータを生成するために見出された。
【００６０】
最初に、ソース信号の重ね合わせのプロセスによってオーディオ信号を生成する。この事実は、ノイズのあるトレーニングデータを合成するために使用された。例えば、音声オーディオトラックｘ（ｉ）及び「ノイズ」オーディオトラックξ（ｉ）が与えられた場合、ノイズのある環境で捕捉したオーディオをシミュレーションするように、
【数２７】
0006435403.tif 000030
により「ノイズのある音声」トラックを形成することができる。実施形態において、反響、エコー、又は他の減衰形態を、ｘ（ｉ）、ξ（ｉ）、又はその両方のパワースペクトルに加え、その後、共に加算して、かなり現実的なオーディオシーンを作製した。
【００６１】
しかしながら、この方法にはいくつかのリスクがあることに留意すべきである。例えば、１０００時間のクリーンな音声を取得し、１０００時間のノイズのある音声を生成するために、おおよそ１０００時間にわたる独特のノイズトラックが通常必要である。回帰ネットワークがノイズトラックを記憶し且つ合成されたデータからそれを差し引くことが可能になる可能性があるので、例えば１０時間の反復するノイズに満足することは好ましくない。したがって、実施形態では、長さが１０００時間である単一のノイズソースξ（ｉ）を使用するかわりに、大量のより短いクリップ（該クリップは公共のビデオソースから収集することがより容易である）が代わりに使用され、それらを重ね合わせる前に、別個のノイズソースとしてそれらを取り扱う。
【数２８】
0006435403.tif 000031
【００６２】
図１０は、本発明の実施形態に係るノイズオーディオクリップのセットを収集するための方法を示す。実施形態では、候補「ノイズ」クリップのセットを収集し（１００５）、該候補「ノイズ」クリップのセットは、複数のソース（例えば、インターネット又は他のデータセット）のうちのいずれかから収集することができる。
【００６３】
オーディオ又はビデオクリップから収集した複数の信号を重ね合わせる場合、実際の環境で記録されたノイズの種類とは異なる「ノイズ」音を結果的に取得することができる。合成データと実データとの良好な整合を確実にするために、各周波数帯域での平均パワーが実際のノイズのある録音で観測された平均パワーとは著しく異なる任意の候補ノイズクリップは、採用しなくてもよい。このように、実施形態では、評価のために、候補ノイズクリップのセットから一つの候補ノイズクリップを選択することができる（１０１０）。周波数帯域内の候補ノイズクリップの平均パワーが、実際のノイズ録音で観測された平均パワーとは著しく異なるかどうかを決定するために、チェックを行う（１０１５）。周波数帯域内の候補ノイズクリップの平均パワーが、実ノイズ記録で観測された平均パワーと著しく異なる場合、該クリップは捨てられる（１０３０）。周波数帯域内の候補ノイズクリップの平均パワーが、実ノイズ記録で観測された平均パワーと著しく異ならない場合、それは、認可されたノイズクリップのセットに追加される（１０２０）。
【００６４】
実施形態では、評価すべきより多くの候補ノイズクリップがあるかどうかを判断する（１０２５）。評価すべき一つ又は複数の候補ノイズクリップがある場合、プロセス（ステップ１０１０〜ステップ１０２０）を繰り返す。一方、評価すべき候補ノイズクリップがもはや無い場合、プロセスを終了する（１０３５）。
【００６５】
認可されたノイズクリップのセットが与えられた場合、合成ノイズのセットを生成することができる。図１１は、本発明の実施形態に係る合成されたノイズサンプルを生成するための方法を示す。実施形態では、認可されたノイズクリップのセットから選択した一つのノイズクリップを加えるか、又は複数のノイズクリップを一緒に加えて、ノイズトラックを形成することができる（１１０５）。実施形態では、ノイズトラックの信号対雑音比をオーディオサンプルに対して調節する（１１１０）。調節されたノイズトラックをオーディオサンプルに加えて合成ノイズサンプルを形成し（１１１５）、また、当該合成ノイズサンプルをトレーニングデータのセットに含ませる（１１２０）。実施形態では、満足できる数のサンプルが生成されるまでこのプロセスを繰り返す（１１２５）ことができ、その後、プロセスを終了する（１１３０）。
【００６６】
ｂ）  ロンバード効果の捕捉
ノイズのある環境で音声認識システムが遭遇する一つの困難な効果は、「ロンバード効果」であり、話者は、声の高さ（pitch）又は抑揚（inflection）を積極的に変えて周りのノイズを克服する。この（無意識の）効果は、音声データセットが静かな環境で収集されるので、記録された音声データセットには現れない。本明細書の実施形態において使用されるトレーニングデータにこの効果が表現されるのを確実にするために、データ収集期間中にロンバード効果が意図的に誘導される。図１２は、本発明の実施形態に係るロンバード効果のオーディオサンプルを生成するための方法を示す。
【００６７】
図１２に示すように、発話を録音する人はヘッドフォンを着けるように指示される（１２０５）。次に、彼らが発話を録音するとき、その人が着けているヘッドフォンを介して騒々しい背景ノイズを出すことにより、データ収集期間中にロンバード効果を意図的に誘導する（１２１０）。ノイズが話者を誘導して声の抑揚を付けさせるので、トレーニングデータにおけるロンバード効果の捕捉が可能になる（１２１５）。ノイズはスピーカによって出すこともできる（及び捕捉されたオーディオから差し引くことができる）ことに留意すべきである。しかしながら、ヘッドフォンを使用することは、背景ノイズが含まれること無く、「クリーン」な記録が捕捉されるという利点を有する。クリーンな記録において、他の合成ノイズが後で追加されることを可能にする。
【００６８】
５．トレーニングされたモデルの実施形態を使用するための例示の方法
図１３は、本発明の実施形態に係るトレーニングされたニューラルネットワークモデル又はトレーニングされたニューラルネットワークモデルのセットを用いるための方法を示す。実施形態では、ユーザから入力オーディオを受信する（１３０５）。図１３に示すように、実施形態において、入力オーディオは、総パワーを、モデル又はモデルのセットをトレーニングするのに使用したトレーニングサンプルの総パワーに一致させるように、正規化される（１３１０）。
【００６９】
実施形態では、正規化された入力オーディオを一つ又は複数の時間値で平行移動することにより、正規化された入力オーディオからオーディオファイルのジッターセットを生成することができる（１３１５）。例えば、オーディオファイルのジッターセットは、正規化された入力オーディオと、時間で数ミリ秒前にシフトされたオーディオファイルと、時間で数ミリ秒後ろにシフトされたオーディオファイルと、を含むことができる。
【００７０】
実施形態では、ｎ個の線形的に隔てられた対数フィルタバンクのスペクトログラムと、オーディオファイルのジッターセット（正規化された入力オーディオを含む）からのエネルギー項と、を計算することにより、スペクトログラムフレームのセットを生成する（１３２０）。実施形態において、フィルタバンクは、ｑミリ秒（例えば１０ｍｓ）のストライドのｐミリ秒（例えば２０ｍｓ）の窓にわたって計算される。
【００７１】
実施形態では、スペクトログラムフレームのセットからの各スペクトログラムフレームｘ（ｔ）を一つ又は複数のトレーニングされたニューラルネットワークに入力する（１３２５）。実施形態では、スペクトログラムフレームとＣ個のフレーム（例えば９個のフレーム）のコンテキストを入力する（１３２５）。フレームのコンテキストは、スペクトログラムフレームの片側又は両側からのものであってもよい。
【００７２】
実施形態では、複数のトレーニングされたニューラルネットワークを使用し、また、入力されたスペクトログラムフレームに対する、トレーニングされたニューラルネットワークのセットからの予測文字確率出力を一緒に結合又は組み合わせることができる（１３３０）。図４に関して上述した方法のうちの一つ又は複数の方法を使用して組み合わせを行ってもよいが、他の方法を使用してもよい。
【００７３】
最後、実施形態では、組み合わせた予測文字確率出力を使用することによって入力オーディオの転写を復号化する（１３３５）。実施形態では、復号化処理は、組み合わせた予測文字確率出力の復号をワードレベルで制約するために、トレーニングされたＮグラム言語モデルを使用することを含むことができる。
【００７４】
６．実験例
２組の実験を行ってモデルシステムの実施形態を評価した。両方の場合において、セクションＢで説明されるようなモデルの実施形態を、表２におけるデータセットの選択からトレーニングして、文字レベルの転写を予測した。次に、予測確率ベクトルと言語モデルを復号器に送ってワードレベルの転写を生み出した。該ワードレベルの転写は、グラウンドトゥルース転写と比較されてワード誤り率（ＷＥＲ）を生み出した。留意すべきことは、これらの実験と結果は、実例として提供され、本発明の実施形態を使用して特定の条件下で実行されたことである。したがって、これら実験とこれらの結果は、本発明の範囲を制限するために使用されるべきではない。
【００７５】
ａ）  会話音声：Ｓｗｉｔｃｈｂｏａｒｄ  Ｈｕｂ５’００（フル）
本発明の実施形態のシステム（本明細書では、それを深層音声実施形態、深層音声モデル、深層音声ネットワーク、深層音声システム、又は、単に深層音声として参照されることがある）を従来の研究と比較するために、認められたが非常に挑戦的なテストセットＨｕｂ５’００（ＬＤＣ２００２Ｓ２３）を使用した。何人かの研究者は、このセットを「簡単」（Ｓｗｉｔｃｈｂｏａｒｄ）と「困難」（ＣａｌｌＨｏｍｅ）の例に分け、より簡単な部分のみに関する新たな成果がよく報告される。本明細書に提示した実験において、フルセット（これが一番挑戦的なケース）を使用して、全体的なワード誤り率を報告する。
【００７６】
深層音声システムは、ほんの３００時間のＳｗｉｔｃｈｂｏａｒｄ会話式電話音声データセットでトレーニングし、かつ、Ｓｗｉｔｃｈｂｏａｒｄ（ＳＷＢ）及びＦｉｓｈｅｒ（ＦＳＨ）（Ｓｗｉｔｃｈｂｏａｒｄと似た方法で収集した２０００時間のコーパス）の両方でトレーニングした。多くの研究者は、Ｈｕｂ５’００でテストを行う場合、Ｓｗｉｔｃｈｂｏａｒｄ会話式電話音声からのほんの３００時間によってトレーニングされたモデルを評価する。一つには、これは、完全な２０００時間のＦｉｓｈｅｒコーパスでトレーニングすることが計算的に困難であるからである。セクション３で述べた最適化技術を使用して、深層音声システムは、ほんの数時間で２３００時間のデータわたる完全なパスを実行することができた。
【００７７】
Ｓｗｉｔｃｈｂｏａｒｄ及びＦｉｓｈｅｒコーパスは、８ｋＨｚのサンプリングレートで配信されるので、８０個の線形離隔された対数フィルタバンクのスペクトログラム及びエネルギー項を計算した。ストライドが１０ｍｓである２０ｍｓの窓でフィルタバンクを計算した。より高度の特徴（例えば、メル尺度対数フィルタバンク又はメル周波数ケプストラム係数）は評価しなかった。
【００７８】
話者適応は、特に３００時間のＳｗｉｔｃｈｂｏａｒｄでトレーニングする場合、他の現在の自動音声認識（ＡＳＲ）システムの成功にとって重要である。Ｈｕｂ５’００でテストされるモデルに関し、話者適応の簡単な形態が、話者ごとにスペクトル特徴を正規化することにより適用された。これ以外、入力特徴は、決して変更されなかった。
【００７９】
復号化のため、Ｆｉｓｈｅｒ及びＳｗｉｔｃｈｂｏａｒｄの転写でトレーニングされた３００００ワードの語彙を有する４グラム言語モデルを使用した。対象を復号化するためのハイパーパラメータを、ヘルドアウト（held-out）開発セットでのクロス確認によって選択した。
【００８０】
テストされた深層音声ＳＷＢモデルは、五つの隠れ層を有するネットワークであり、各隠れ層は、ほんの３００時間のＳｗｉｔｃｈｂｏａｒｄでトレーニングされた２０４８個のニューロンを有する。深層音声ＳＷＢ＋ＦＳＨモデルは、五つのＲＮＮの組み合わせであり、各ＲＮＮは、フル２３００時間の組み合わせたコーパスでトレーニングされた２３０４個のニューロンの五つの隠れ層を有する。全てのネットワークは、コンテキストの＋／−９フレームの入力でトレーニングされた。
【００８１】
結果を表３において報告する。Ｖｅｓｅｌｙその他からのモデル（ＤＮＮ−ＨＭＭ  ｓＭＢＲ）は、典型的なハイブリッドＤＮＮ−ＨＭＭシステムを使用してトレーニングセットを再位置合わせした後、ＤＮＮのトップでシーケンスベースの損失関数を使用した。組み合わせたＨｕｂ５’００テストセットでのこのモデルの性能は、前に公開された最良の結果であった。組み合わせた２３００時間のデータでトレーニングする場合、深層音声システムは、このベースラインから１．９％絶対ＷＥＲと１０．３％相対ＷＥＲだけ向上させた。Ｍａａｓその他からのモデル（ＤＮＮ−ＨＭＭ  ＦＳＨ）は、Ｆｉｓｈｅｒ２０００時間のコーパスでトレーニングした場合、１９．９％ＷＥＲを達成した。当該システムは、最新技術のオープンソース音声認識ソフトウェアＫａｌｄｉを使用して構築された。この結果は、深層音声が、相当な量のデータでトレーニングした場合、最良の現存するＡＳＲシステムと競争できることを示すために、含められた。
【００８２】
表３：Ｓｗｉｔｃｈｂｏａｒｄデータセットのスプリットでの公開された誤り率（％ＷＥＲ）。「ＳＷＢ」及び「ＣＨ」とラベル付けされた列は、それぞれＨｕｂ５’００の簡単サブセット及び困難サブセットである。
【表３】
0006435403.tif 000032
【００８３】
引用文献Ａ：  Ｋ．  Ｖｅｓｅｌｙ、Ａ．  Ｇｈｏｓｈａｌ、Ｌ．  Ｂｕｒｇｅｔ、及びＤ．  Ｐｏｖｅｙ、“Ｓｅｑｕｅｎｃｅ−Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  Ｔｒａｉｎｉｎｇ  ｏｆ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ”、Ｉｎｔｅｒｓｐｅｅｃｈ  ２０１３の議事録、フランス  リヨン、２０１３年８月、ページ２３４５〜２３４９（その全体は、参照することにより本願明細書に組み込まれる）。
【００８４】
引用文献Ｂ：Ａ．  Ｌ．  Ｍａａｓ、Ａ．  Ｙ．  Ｈａｎｎｕｎ、Ｃ．  Ｔ．  Ｌｅｎｇｅｒｉｃｈ、Ｐ．  Ｑｉ、Ｄ．  Ｊｕｒａｆｓｋｙ、及びＡ．  Ｙ．  Ｎｇ、“Ｉｎｃｒｅａｓｉｎｇ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ  Ｓｉｚｅ  ｆｏｒ  Ｌａｒｇｅ  Ｖｏｃａｂｕｌａｒｙ  Ｃｏｎｔｉｎｕｏｕｓ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ”、ａｂｓ／１４０６．７８０６，２０１４年（／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０６．７８０６において利用可能）（その全体は、参照することにより本願明細書に組み込まれる）。
【００８５】
引用文献Ｃ：Ｆ．  Ｓｅｉｄｅ、Ｇ．  Ｌｉ、Ｘ．  Ｃｈｅｎ、Ｄ．  Ｙｕ、“Ｆｅａｔｕｒｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  ｉｎ  Ｃｏｎｔｅｘｔ−Ｄｅｐｅｎｄｅｎｔ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｃｏｎｖｅｒｓａｔｉｏｎａｌ  Ｓｐｅｅｃｈ  Ｔｒａｎｓｃｒｉｐｔｉｏｎ”、ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  （ＡＳＲＵ）の議事録（米国、ハワイ、Ｗａｉｋｏｌｏａ、２０１１年１２月１１日）、ページ２４〜２９（その全体は、参照することにより本願明細書に組み込まれる）。
【００８６】
引用文献Ｄ：Ｂ．  Ｋｉｎｇｓｂｕｒｙ、Ｔ．  Ｎ．  Ｓａｉｎａｔｈ、及びＨ．  Ｓｏｌｔａｕ、“Ｓｃａｌａｂｌｅ  Ｍｉｎｉｍｕｍ  Ｂａｙｅｓ  Ｒｉｓｋ  Ｔｒａｉｎｉｎｇ  ｏｆ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌｓ  Ｕｓｉｎｇ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｈｅｓｓｉａｎ−ｆｒｅｅ  Ｏｐｔｉｍｉｚａｔｉｏｎ”、ＩＮＴＥＲＳＰＥＥＣＨの議事録、２０１２年９月（その全体は、参照することにより本願明細書に組み込まれる）。
【００８７】
引用文献Ｅ：  Ｔ．  Ｎ．  Ｓａｉｎａｔｈ、Ａ．−Ｒ．  Ｍｏｈａｍｅｄ、Ｂ．  Ｋｉｎｇｓｂｕｒｙ、及びＢ．  Ｒａｍａｂｈａｄｒａｎ、“Ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ＬＶＣＳＲ”、  ２０１３  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ、  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＡＳＳＰ）、２０１３年（その全体は、参照することにより本願明細書に組み込まれる）。
【００８８】
ｂ）  ノイズのある音声
ノイズのある音声の性能をテストするための標準がほとんどないので、１０人の話者からの１００個のノイズのある発話と１００個のノイズのない発話を有する評価セットを構築した。ノイズ環境は、背景ラジオあるいはＴＶと、流し台の皿の洗浄と、混雑しているカフェテリアと、レストランと、雨の中を運転している車の内部と、含む。発話テキストは、主にウェブサーチクエリとテキストメッセージ、及び、ニュースクリップと、電話会話と、インターネットコメントと、公開スピーチと、映画スクリプトと、からのものである。ノイズのあるサンプルの信号対雑音比（ＳＮＲ）に対する精密な制御は、可能ではなかったが、ＳＮＲの値の目標は、６ｄＢ〜２ｄＢであった。
【００８９】
以下の実験に関し、表２に記載されているすべてのデータセット（７０００時間より多い）でＲＮＮの実施形態をトレーニングした。トレーニングは、各パスにおいて、新たに合成されたノイズを有する１５〜２０エポックに対するものだったので、モデルは、１０００００時間を超える新たなデータから学習した。また、各ネットワークが２５６０個のニューロンの五つの隠れ層を有する六つのネットワークの結合を使用した。どんな形態の話者適応もトレーニングセット又は評価セットに適用されなかった。トレーニングの例は、各例の総パワーを一致させるために、発話ごとに正規化した。特徴は、ストライドが１０ｍｓである２０ｍｓの窓で計算された１６０個の線形離隔された対数フィルタバンク、及びエネルギー項であった。オーディオファイルは、特徴化の前に、１６ｋＨｚへ再サンプリングされた。最後に、実験者は、各周波数ビンから、トレーニングセットにわたるグローバル平均値を取り除き、グローバル標準偏差で除算し、それ故、入力は、トレーニングの早期段階の間、良好に拡張された。
【００９０】
セクションＢ．２で説明したように、５グラム言語モデルを復号化のために使用した。言語モデルは、各フレーズの少なくとも９５％の文字がアルファベットにあるように選択されたＣｏｍｍｏｎ  Ｃｒａｗｌ（ｃｏｍｍｏｎｃｒａｗｌ．ｏｒｇから取得できる）の２．２億個のフレーズでトレーニングされた。最も普通な４９５，０００ワードのみを残しておき、その他の部分は、「未知」トークンに再マッピングした。
【００９１】
深層音声システムのトレーニングされた実施形態を、いくつかの商用音声システム、即ち、（１）ｗｉｔ．ａｉ、（２）Ｇｏｏｇｌｅ音声ＡＰＩ、（３）Ｂｉｎｇ音声、及び（４）Ａｐｐｌｅディクテーションと比較した。ｗｉｔ．ａｉ及びＧｏｏｇｌｅ音声はそれぞれ、ＨＴＴＰベースのＡＰＩを有することに留意すること。Ａｐｐｌｅディクテーション及びＢｉｎｇ音声をテストするため、カーネル拡張を使用してオーディオ出力を、オーディオ入力、ＯＳ  Ｘディクテーションサービス、及びＷｉｎｄｏｗｓ８  Ｂｉｎｇ音声認識ＡＰＩにループバックした。
【００９２】
テストは、ノイズのある環境での性能を、基準に従って評価する（benchmark）ように設計された。この状況は、ウェブ（web）音声ＡＰＩを評価することに対する課題をもたらした。これらのシステムは、ＳＮＲが低すぎる場合、又は発話が長すぎるいくつかの場合、全く結果を出さないだろう。したがって、比較を、全てのシステムが非空の結果を戻さない発話のサブセットに限定された。これは、１００％の誤り率がＡＰＩが応答できないときにもたらされる場合に報告されるものよりずっと高い正確度を引き起こす。テストファイルで各システムを評価した結果を表４に表す。
【００９３】
表４：オリジナルのオーディオで評価した三つのシステムの結果（％ＷＥＲ）である。すべてのシステムは、すべてのシステムによって与えられる予測を用いて発話上だけで採点した。各データセットの隣の括弧内の数字（例えばクリーン（９４））は、採点された発話の数である。
【表４】
0006435403.tif 000033
【００９４】
セクションＢ．４で説明したノイズ合成技術の効果を評価するために、二つのＲＮＮの実施形態を、一方は、５０００時間の生データでトレーニングし、他方は、同じ５０００時間にノイズを加えてトレーニングした。１００個のクリーンな発話上で、両方のモデルは性能がほぼ同じであり、クリーンでトレーニングしたモデルとノイズでトレーニングしたモデルは、それぞれ９．２％ＷＥＲと９．０％ＷＥＲであった。しかしながら、ノイズのある１００個の発話上では、ノイズのあるモデルは、クリーンなモデルの２８．７％ＷＥＲより優れた２２．６％  ＷＥＲを達成し、６．１％の絶対的改善と２１．３％の相対的改善となった。
【００９５】
ｃ）  結論
本明細書で提示された実施形態のいくつかの部分は、従来結果に基づいて拡張され、又は、従来結果により引き出された。ニューラルネットワークの音響モデル及び他のコネクショニスト方法は、１９９０年代の早期に、最初に音声パイプラインに導入された。深層ニューラルネットワーク（ＤＮＮ）音響モデルに類似するこれらのシステムは、音声認識パイプラインの一つのステージのみを置き換える。機械的に、本明細書に提示されたシステムの実施形態は、深層学習アルゴリズムからエンドツーエンド音声システムを構築するための他の努力とある相似性を含むと考えられることがある。例えば、Ｇｒａｖｅｓ及びその他（Ａ．  Ｇｒａｖｅｓ、Ｓ．  Ｆｅｒｎaｎｄｅｚ、Ｆ．  Ｇｏｍｅｚ、及びＪ．  Ｓｃｈｍｉｄｈｕｂｅｒ、「Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  ｔｅｍｐｏｒａｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ：  Ｌａｂｅｌｌｉｎｇ  ｕｎｓｅｇｍｅｎｔｅｄ  ｓｅｑｕｅｎｃｅ  ｄａｔａ  ｗｉｔｈ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ」、第２３回Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ（ＩＣＭＬ）の議事録、ページ３６９〜３７６、ＡＣＭ（２００６）、その全体は、参照することにより本願明細書に組み込まれる）は、以前、ＲＮＮによって生成される転写を採点するための「Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｍｐｏｒａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＣＴＣ）損失関数を導入し、長短期記憶（ＬＳＴＭ）ネットワークによって以前、この方法を音声に適用した（Ａ．  Ｇｒａｖｅｓ及びＮ．  Ｊａｉｔｌｙの「Ｔｏｗａｒｄｓ  ｅｎｄ−ｔｏ−ｅｎｄ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｗｉｔｈ  ｒｅｃｕｒｒｅｎｔ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ」、第３１回Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  （ＩＣＭＬ）の議事録、ページ１７６４〜１７７２、２０１４年を参照のこと。その全体は、参照することにより本願明細書に組み込まれる）。本明細書に提示された実施形態は、トレーニング手順の一部に対して、類似してＣＴＣ損失を採用したが、より簡単な回帰ネットワークと正規化線形活性化を使用する。回帰ネットワークの実施形態は、Ｈａｎｎｕｎ及びその他（Ａ．  Ｙ．  Ｈａｎｎｕｎ、Ａ．  Ｌ．  Ｍａａｓ、Ｄ．  Ｊｕｒａｆｓｋｙ、及びＡ．  Ｙ．  Ｎｇ、「Ｆｉｒｓｔ−ｐａｓｓ  ｌａｒｇｅ  ｖｏｃａｂｕｌａｒｙ  ｃｏｎｔｉｎｕｏｕｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｒｅｃｕｒｒｅｎｔ  ＤＮＮｓ」、Ｔｈｅ  Ｃｏｍｐｕｔｉｎｇ  Ｒｅｓｅａｒｃｈ  Ｒｅｐｏｓｉｔｏｒｙ（ＣｏＲＲ）ａｂｓ／１４０８．２８７３，  ２０１４（ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０８．２８７３から取得できる）、その全体は、参照することにより本願明細書に組み込まれる）によって使用した双方向ＲＮＮとある相似性を含むが、その拡張可能性（scalability：スケーラビリティ）を向上させるための複数の変更を有すると考えられる。拡張可能性に注目することにより、本明細書において、より複雑なＬＳＴＭ機械装置がなくても、より簡単なネットワークが効率的であることが示される。
【００９６】
深層学習（ＤＬ）アルゴリズムの性能を向上させるための拡張可能性は、以前に考えられ、並列プロセッサ（ＧＰＵを含む）が、最近の大規模のＤＬ結果に使用された。ＤＬアルゴリズムからＧＰＵまでの早期ポートは、速度の著しい増加を示した。研究者はまた、畳み込みネットワーク、及びローカルに接続されるネットワークを含む、ＧＰＵハードウェアに良好にマッピングしてより高い効率が得られる設計を選択し始めた。このことは、特に、ｃｕＤＮＮ（Ｓ．  Ｃｈｅｔｌｕｒ、Ｃ．  Ｗｏｏｌｌｅｙ、Ｐ．  Ｖａｎｄｅｒｍｅｒｓｃｈ、Ｊ．  Ｃｏｈｅｎ、Ｊ．  Ｔｒａｎ、Ｂ．  Ｃａｔａｎｚａｒｏ、及びＥ．  Ｓｈｅｌｈａｍｅｒ、「ｃｕＤＮＮ：  Ｅｆｆｉｃｉｅｎｔ  ｐｒｉｍｉｔｉｖｅｓ  ｆｏｒ  ｄｅｅｐ  ｌｅａｒｎｉｎｇ」、ＣｏＲＲ、  ａｂｓ／１４１０．０７５９、２０１４（ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４１０．０７５９から取得できる）を参照のこと。その全体は、参照することにより本願明細書に組み込まれる）及びＢＬＡＳのような最適化されたライブラリが利用可能である場合に言える。実際、高性能なコンピューティングインフラストラクチャを使用し、ＧＰＵのクラスタを使用して、１００億個を超える接続を有するニューラルネットワークをトレーニングすることが現在可能である。これらの結果は、アルゴリズム及びモデルそれら自体を設計してみる前に、拡張可能な設計選択をすることに焦点を当てて複数のＧＰＵを効率的に利用することにより、本明細書中の少なくともいくつかの実施形態が開発される原因となった。
【００９７】
大型のモデルをトレーニングする可能性とともに、大型トレーニングセットに対するニーズも存在する。コンピュータビジョンのような他の分野において、大型の、ラベル付きトレーニングセットは、それらがますます大型化するＤＬシステムを供給するのに使用される場合、性能における著しい飛躍を可能にした。しかしながら、音声認識において、このような大型トレーニングセットは一般的ではなく、典型的なベンチマーク（基準）は、数十時間（例えば８０時間のＷａｌｌ  Ｓｔｒｅｅｔ  Ｊｏｕｒｎａｌコーパス）から数百時間（例えばＳｗｉｔｃｈｂｏａｒｄ及びＢｒｏａｄｃａｓｔ  Ｎｅｗｓ）の範囲のトレーニングセットを有する。２０００時間の転写音声を有するＦｉｓｈｅｒコーパスのような、より大きなベンチマークデータセットは、珍しく、且つ、ほんの最近、研究されている。本明細書で説明したネットワークの実施形態の表現力を完全に活用するために、ラベル付き発話の大型セットは、信頼するデータセットのみならず、新たな例を生成する合成技術も使用した。似た方法は、コンピュータビジョンにおいて既知であるが、適切に処理した場合、合成データは、音声トレーニングにとって、特に便利で効率的であることが分かった。
【００９８】
本明細書における新規な開示は、従来のこれらの方法に対し、新規で著しい進歩を提供した。本明細書に提示されたものは、少なくとも２つの挑戦的なシナリオ、即ち、クリアな会話式音声、及びノイズのある環境における音声、における現存する最新の認識パイプラインより性能を高めることが可能なエンドツーエンドの深層学習ベースの音声システムの生成、トレーニング、及び使用のための新規なシステム及び方法である。実施形態は、マルチＧＰＵトレーニングを含み、また、背景ノイズ及びロンバード効果のような、システムが処理することのできる歪みを示す大型トレーニングセットを構築するための、合成方策及び独特なデータ収集も含む。これらの解決策は、データ駆動式音声システム（従来方法より性能が高い一方、さらなる進歩を阻む複雑な処理ステージに依存しない）の構築を可能にする。
【００９９】
Ｃ．例示的なコンピューティングシステムの実施形態
本特許文書の態様は、コンピューティングシステムに関する。本開示の目的として、コンピューティングシステムは、任意の手段又は手段の集合を含むことができ、それらは、任意の情報形態、インテリジェンス（知能）、又は、ビジネス、科学、制御、又は他の目的のためのデータを、計算、算出、決定、分類、処理、送信、受信、検索、開始、ルーティング、記憶、表示、通信、明示、検出、記録、再生、取り扱い、又は利用するように動作可能である。例えば、コンピューティングシステムは、パーソナルコンピュータ（例えば、デスクトップ又はラップトップ）、タブレットコンピュータ、モバイル機器（例えば、個人用携帯情報端末（ＰＤＡ）又はスマートフォン）、サーバ（例えば、ブレードサーバ又はラックマウント型サーバ）、ネットワーク機器、又は任意の他の適切な機器（デバイス）であってもよく、更に大きさ、形状、性能、機能、及び価格が変化してもよい。コンピューティングシステムは、ランダムアクセスメモリ（ＲＡＭ）、１つ又は複数の処理リソース（例えば、中央処理装置（ＣＰＵ）、又は、ハードウェア又はソフトウェア制御ロジック）、ＲＯＭ、及び／又は他のタイプのメモリを含んでもよい。コンピューティングシステムの付加的構成要素（コンポーネント）は、１つ又は複数のディスクドライブ、外部デバイスと通信するための１つ又は複数のネットワークポート、及び各種の入出力（Ｉ／Ｏ）デバイス（例えば、キーボード、マウス、タッチスクリーン、及び／又はビデオディスプレイ）を含んでもよい。コンピューティングシステムはまた、様々なハードウェア構成要素間での通信を送信するように動作可能な１つ又は複数のバスを含んでもよい。
【０１００】
図１４は、本開示の実施形態に係るコンピューティングシステム１４００のブロック図を示す。コンピューティングシステム１４００に関して示される機能は、コンピューティングシステムの種々の実施形態を支援するように動作することができることは理解されるが、コンピューティングシステムは、異なって構成されてもよく、また、異なる構成要素を含んでもよいことを理解すべきである。図１４に示すように、コンピューティングシステム１４００は、コンピューティングリソースを提供するとともにコンピュータを制御する１つ又は複数の中央処理装置（ＣＰＵ）１４０１を含む。ＣＰＵ１４０１は、マイクロプロセッサ等を用いて実施されてもよく、また、コンピューティングシステム１４００は、１つ又は複数のグラフィックス処理ユニット（ＧＰＵ）１４１７及び／又は数学的計算用の浮動小数点コプロセッサを含んでもよい。コンピューティングシステム１４００は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、又はその両方の様態であってもよいシステムメモリ１４０２も含んでよい。
【０１０１】
図１４に示すように、コンピューティングシステム１４００において、複数のコントローラ及び周辺装置もまた提供されてもよい。入力コントローラ１４０３は、キーボード、マウス、又はスタイラスのような各種入力装置１４０４へのインターフェースを表す。スキャナー１４０６と通信するスキャナーコントローラ１４０５もまた有してもよい。コンピューティングシステム１４００はまた、１つ又は複数のストレージ装置１４０８とインターフェースするためのストレージコントローラ１４０７を含んでもよく、ストレージ装置１４０８の各々は、オペレーティングシステム、ユーティリティ、及びアプリケーション（本発明の各種特徴を実施するプログラムの実施形態を含むことができる）用の命令のプログラムを記録するのに使用されるストレージ媒体（例えば、磁気テープ又はディスク）、又は光学媒体を含む。ストレージ装置１４０８はまた、本発明に従って処理されたデータ、又は処理されるべきデータを記憶するのに使用されてもよい。コンピューティングシステム１４００はまた、ディスプレイ装置１４１１へのインターフェースを提供するディスプレイコントローラ１４０９を含んでもよく、ディスプレイ装置１４１１は、陰極線管（ＣＲＴ）、薄膜トランジスタ（ＴＦＴ）ディスプレイ、又は他のタイプのディスプレイであってもよい。コンピューティングシステム１４００は、プリンター１４１３と通信するためのプリンターコントローラ１４１２を含んでもよい。通信コントローラ１４１４は、１つ又は複数の通信装置１４１５とインターフェースすることができ、通信装置１４１５は、コンピューティングシステム１４００が、インターネット、イーサネットクラウド、イーサネット上のファイバチャネル（ＦＣｏＥ）／データセンターブリッジング（ＤＣＢ）クラウド、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びストレージエリアネットワーク（ＳＡＮ）を含む任意の各種ネットワークを通して、又は、赤外線信号を含む任意の適切な電磁キャリア信号を通して遠隔装置に接続することを可能にする。
【０１０２】
図示されたシステムにおいて、すべての主要なシステム構成要素は、バス１４１６に接続されてもよく、バス１４１６は、１つ以上の物理バスを示すことができる。しかしながら、各種のシステム構成要素は、互いに物理的に隣接してもよく、しなくてもよい。例えば、入力データ及び／又は出力データは、一つの物理位置から他の物理位置に、遠隔送信されることができる。さらに、本発明の各種態様を実施するプログラムは、ネットワークを介して遠隔位置（例えば、サーバ）からアクセスすることができる。当該データ及び／又はプログラムは、様々な機械読み取り可能な媒体のうちの任意の媒体により運ばれてもよく、該機械読み取り可能な媒体は、例えばハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、例えばＣＤ−ＲＯＭ及びホログラフィック装置のような光学媒体、光磁気媒体、及び、例えば特定用途向け集積回路（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス、及び、ＲＯＭ及びＲＡＭデバイスのような、プログラムコードを記憶したり、記憶して実行したりするように特に構成されたハードウェアデバイスを含むが、これらに限定されない。
【０１０３】
本発明の実施形態は、１つ又は複数のプロセッサ又は処理ユニットにステップを実行させる命令を、１つ又は複数の非一時的コンピュータ可読媒体に符号化することができる。１つ又は複数の非一時的コンピュータ可読媒体は、揮発性及び不揮発性メモリを含むことができることに留意すべきである。ハードウェア実装、又はソフトウェア／ハードウェア実装を含む、代替の実装が可能であることに留意すべきである。ハードウェアで実施される機能は、ＡＳＩＣ、プログラマブルアレイ、デジタル信号処理回路等を使用して実現されることができる。このため、任意の請求項における用語「手段」は、ソフトウェア実現方式及びハードウェア実現方式の両方ともカバーすることを意図する。類似するように、本明細書で使用された用語「コンピュータ可読媒体」は、その上で具現化される命令のプログラムを有するソフトウェア及び／又はハードウェアを含む。これらの代替の実施態様を念頭におき、各図面及びそれに付随する説明は、当業者が、プログラムコード（即ち、ソフトウェア）を書いて、及び／又は回路（即ち、ハードウェア）を作製して、必要な処理を実行するのに必要とされる機能情報を提供することを理解すべきである。
【０１０４】
本発明の実施形態は、更に非一時的で有形のコンピュータ可読媒体を有するコンピュータ製品に関係してもよく、当該コンピュータ可読媒体は、その上に、各種コンピュータで実施される動作を実行させるためのコンピュータコードを有することに留意すべきである。媒体及びコンピュータコードは、本発明の目的のために特別に設計され、構成されたものであってもよく、或いは、当業者にとって既知又は利用可能な種類のものであってもよい。有形のコンピュータ可読媒体の例は、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びホログラフィックデバイスのような光学媒体、光磁気媒体、及びプログラムコードを記憶、又は記憶して実行するように特別に構成された、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、フラッシュメモリデバイス、及びＲＯＭ及びＲＡＭデバイスのようなハードウェアデバイスを含むが、これらに限定されない。コンピュータコードの例は、コンパイラによって生成されたマシンコード、及びインタプリタを使用してコンピュータにより実行される高水準コードを含むファイル、を含む。本発明の実施形態は、処理装置によって実行されるプログラムモジュール内にあってもよいマシン実行可能な命令として、全体的又は部分的に実施されることができる。プログラムモジュールの例は、ライブラリ、プログラム、ルーチン、オブジェクト、コンポーネント、及びデータ構造を含む。分散コンピューティング環境において、プログラムモジュールは、ローカル、リモート（遠隔）、又はその両方の環境に物理的に配置されてもよい。
【０１０５】
当業者は、コンピューティングシステム又はプログラミング言語が、本発明の実施に対して重要ではないことを認識するだろう。当業者は、上述の多くの要素が物理的及び／又は機能的にサブモジュールに分けられるか、又は統合されてもよいことも認識するだろう。
【０１０６】
下記の請求項における要素は、複数依存、構成、及び組み合わせを有することを含め、異なって構成されてもよい。例えば、実施形態において、各種請求項の主題（subject matter）を他の請求項と組み合わせてもよい。例えば、請求項４の主題は、請求項１乃至３のいずれか１項の主題と組み合わせてもよく、請求項６の主題は、請求項４又は５の主題と組み合わせてもよく、請求項８の主題は、請求項１乃至７の主題と組み合わせてもよく、請求項１０の主題は、請求項８又は９の主題と組み合わせてもよく、請求項１３の主題は、請求項１１又は１２の主題と組み合わせてもよく、請求項１５の主題は、請求項１１又は１４の主題と組み合わせてもよく、請求項１６の主題は、請求項１１乃至１５の主題と組み合わせてもよく、請求項１９の主題は、請求項１７又は１８の主題と組み合わせてもよい。
【０１０７】
当業者は、前述の例及び実施形態は例示的なものであり、本発明の範囲を限定するものではないと理解すべきである。本明細書を読み、図面を研究することにより当業者に明らかな、本発明へのすべての置換、強化、均等物、組合せ、又は改良は、本発明の趣旨及び範囲内に含まれると意図される。
【図１】
0006435403.tif 000034
【図２】
0006435403.tif 000035
【図３】
0006435403.tif 000036
【図４】
0006435403.tif 000037
【図５】
0006435403.tif 000038
【図６】
0006435403.tif 000039
【図７Ａ】
0006435403.tif 000040
【図７Ｂ】
0006435403.tif 000041
【図８】
0006435403.tif 000042
【図９】
0006435403.tif 000043
【図１０】
0006435403.tif 000044
【図１１】
0006435403.tif 000045
【図１２】
0006435403.tif 000046
【図１３】
0006435403.tif 000047
【図１４】
0006435403.tif 000048