(57)【要約】音声認識システムは、声音を受け取る入力デバイスと、１つ以上のプロセッサと、パラメータ、及び１つ以上のプロセッサに動作を実行させる命令を含むプログラムモジュールを記憶する１つ以上の記憶デバイスとを備える。これらの動作は、声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、音響特徴系列を隠れベクトル系列に符号化することと、隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、ラベル系列探索モジュールを用いて、デコーダネットワーク及びハイブリッドネットワークから与えられた第１の出力ラベル系列確率及び第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することとを含む。
2021501376.tif 000002
【特許請求の範囲】
【請求項１】
声音を受け取る入力デバイスと、
１つ以上のプロセッサと、
パラメータと、前記１つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールとを記憶する１つ以上の記憶デバイスであって、前記命令は、実行されると、前記１つ以上のプロセッサに動作を実行させ、前記動作は、
音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、
エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
前記隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、
文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、
ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
を含む、１つ以上の記憶デバイスと、
を備える、音声認識システム。
【請求項２】
前記動作は、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣモジュールと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣモジュールから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１に記載の音声認識システム。
【請求項３】
前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１に記載の音声認識システム。
【請求項４】
前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、前記ラベル系列探索モジュールから先行するラベルを受信する、請求項１に記載の音声認識システム。
【請求項５】
前記ＣＴＣモジュールは、前記第３の出力ラベル系列確率を予測する前に、前記ラベル系列探索モジュールから先行するラベルを受信する、請求項２に記載の音声認識システム。
【請求項６】
前記エンコーダネットワークは、スタックされた双方向長短期メモリ（ＢＬＳＴＭ）と、畳み込みニューラルネットワーク（ＣＮＮ）とを含む、請求項１に記載の音声認識システム。
【請求項７】
前記デコーダネットワークはスタックされた長短期メモリ（ＬＳＴＭ）を含み、前記隠れベクトル系列に関する注意機構を用いて、前記出力ラベル系列確率をそれぞれ予測する、請求項１に記載の音声認識システム。
【請求項８】
前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合するために、対数領域における線形結合が使用される、請求項１に記載の音声認識システム。
【請求項９】
前記探索することは、ビーム探索を用いて、前記デコーダネットワーク及び前記ＣＴＣモジュールから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項１に記載の音声認識システム。
【請求項１０】
前記ビーム探索は、最初に、前記デコーダネットワークから与えられた前記第１のラベル系列確率を用いて１組の完全なラベル系列仮説を見つけ、その後、前記１組の完全なラベル系列仮説の中から、前記デコーダネットワーク及び前記ＣＴＣモジュールから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項８に記載の音声認識システム。
【請求項１１】
前記ビーム探索は、他の不完全なラベル系列仮説と比べて低い系列確率を有する不完全なラベル系列仮説を剪定し、前記系列確率は、前記デコーダネットワーク及び前記ＣＴＣモジュールから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られる、請求項８に記載の音声認識システム。
【請求項１２】
前記ＣＴＣモジュールは、前記第２の出力ラベル系列確率を予測するために、前記ＣＴＣネットワークパラメータ及び動的計画法を用いて、事後確率分布を計算する、請求項１に記載の音声認識システム。
【請求項１３】
メモリと通信するコンピュータに音声認識プロセスを実行させるプログラムを記憶する非一時的コンピュータ可読記録媒体であって、前記音声認識プロセスは、
声音を準備することと、
音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、
エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
デコーダネットワークパラメータを有するデコーダネットワークに前記隠れベクトル系列を送り込むことによって、第１の出力ラベル系列確率を予測することと、
文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、
ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
を含む、非一時的コンピュータ可読記録媒体。
【請求項１４】
前記音声認識プロセスは、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣモジュールと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣモジュールから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１３に記載の媒体。
【請求項１５】
前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１３に記載の媒体。
【請求項１６】
前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、先行するラベルを前記ラベル系列探索モジュールから受け取る、請求項１３に記載の媒体。
【請求項１７】
前記ＣＴＣモジュールは、前記第３の出力ラベル系列確率を予測する前に、先行するラベルを前記ラベル系列探索モジュールから受け取る、請求項１４に記載の媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、オープン語彙（open−vocabulary：語彙制限のない）エンドツーエンド音声認識のための装置及び方法に関し、より具体的には、文字レベル及び単語レベルの言語モデルに基づくエンドツーエンド自動音声認識のための方法及びシステムに関する。
【背景技術】
【０００２】
自動音声認識は、現在では、広く展開されている十分に成熟した１組の技術であり、音声検索等のインターフェースアプリケーションにおいて大きな成功を収めている。しかしながら、高い認識精度を達成する音声認識システムを構築するのは容易ではない。１つの問題は、システムが受け入れる対象言語に関して、深い言語的知識を必要とすることである。例えば、そのようなシステムを構築するのに、１組の音素、語彙及び発音辞書が不可欠である。音素セットは、その言語に通じた人によって注意深く定義される必要がある。発音辞書は、１０万語を超える単語を含む語彙内の各単語に１つ以上の音素系列を割り当てることによって、手作業で作成される必要がある。さらに、言語の中には、語境界を明確に有しないものもあり、それゆえ、テキストコーパスから語彙を作成するために、トークン化を必要とする場合がある。結果として、マイナーな言語の場合に特に、専門家でない人が音声認識システムを開発するのは極めて難しい。他の問題は、音声認識システムが、別々に最適化される音響モデル、辞書モデル及び言語モデルを含む、いくつかのモジュールに分解されることである。各モデルが他のモデルに一致するようにトレーニングされる場合であっても、このアーキテクチャの結果として、局所的な最適条件がもたらされる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
エンドツーエンド音声認識は、従来のアーキテクチャを簡略化して、深層学習のフレームワーク内の単一のニューラルネットワークアーキテクチャにするという目的を有する。これらの問題に対処するために、又はこれらの問題を解決するために、いくつかの文献において種々の技法が論じられてきた。現行技術水準のエンドツーエンド音声認識システムは、所与の音声入力の文字系列を予測するように設計されている。なぜなら、発音辞書なしに音声から直接単語系列を予測することは、文字系列を予測するよりはるかに難しいからである。一方、文字ベース予測は、長い文字系列にわたって言語的制約をモデル化することが難しいことから、単語ベース予測に比べて一般に性能が劣る。対応するトランスクリプトを有する音声データが更に多く存在する場合、単語系列を予測するより良好なニューラルネットワークをトレーニングすることができる。しかしながら、そのようなトランスクリプト付き音声データを収集し、大きなデータセットを用いてネットワークをトレーニングすることは非常に多くのコストを要する。したがって、エンドツーエンド音声認識に単語レベル予測を組み込んで認識精度を改善することは容易ではない。
【課題を解決するための手段】
【０００４】
本開示のいくつかの実施形態は、エンドツーエンド自動音声認識（ＡＳＲ：automatic speech recognition）アーキテクチャにおける文字レベル言語モデル（ＬＭ：language models）及び単語レベル言語モデルの結合によってラベル系列予測を改善することが可能であるという認識に基づく。ＬＭは、長短期メモリ（ＬＳＴＭ：long short−term memory）ユニットを含む再帰型ニューラルネットワーク（ＲＮＮ：recurrent neural network）とすることができる。
【０００５】
文字レベルＬＭは、エンドツーエンドＡＳＲの注意デコーダネットワークモジュール及びコネクショニスト時系列分類（ＣＴＣ：connectionist temporal classification）モジュールと組み合わされる。文字レベルＬＭは、いくつかの言語において競争相手の現行技術水準のＤＮＮ／ＨＭＭベースＡＳＲシステムに対して認識精度を改善する。文字レベルアーキテクチャは、オープン語彙ＡＳＲの方法を提供することができるが、文字レベルＬＭは、文字の長い系列にわたって言語的制約をモデル化することが困難であることから、スモールアルファベット（small alphabet）を有する英語等の言語については単語レベルＬＭに比べて一般に性能が劣る。
【０００６】
本発明のいくつかの実施形態は、文字レベル及び単語レベルの双方においてＬＭを用いたエンドツーエンドＡＳＲ復号の新規の方法を提供する。本発明の復号プロセスでは、単語境界に遭遇するまで、文字系列仮説が、文字レベルＬＭを用いて最初にスコアリングされる。次に、既知の単語が、単語レベルＬＭを用いて再スコアリングされるとともに、文字レベルＬＭは、語彙外単語のスコアを与える。
【０００７】
この手法は、文字レベルアーキテクチャ及び単語レベルアーキテクチャの双方の利点を活用し、高精度のオープン語彙エンドツーエンドＡＳＲを可能にする。評価結果は、本開示の終わりに、標準的なウォールストリートジャーナル（ＷＳＪ：Wall Street Journal）タスクを用いて議論され、オープン語彙エンドツーエンドＡＳＲによる大幅な改善を示している。
【０００８】
本発明のいくつかの実施形態によれば、音声認識システムは、声音を受け取る入力デバイスと、１つ以上のプロセッサと、パラメータ、及び前記１つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールを記憶する１つ以上の記憶デバイスとを備える。前記１つ以上の記憶デバイスにおいて、前記命令は、実行されると、前記１つ以上のプロセッサに動作を実行させる。前記１つ以上の記憶デバイスにおいて、前記動作は、音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、前記隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することとを含む。
【０００９】
本発明のいくつかの実施形態によれば、メモリと通信するコンピュータに音声認識プロセスを実行させるプログラムを記憶する非一時的コンピュータ可読記録媒体を開示する。前記非一時的コンピュータ可読記録媒体において、前記音声認識プロセスは、声音を準備することと、音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、デコーダネットワークパラメータを有するデコーダネットワークに前記隠れベクトル系列を送り込むことによって、第１の出力ラベル系列確率を予測することと、文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することとを含む。
【００１０】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではない。図面は、その代わり、一般的に、ここに開示されている実施形態の原理を強調するように示されている。
【図面の簡単な説明】
【００１１】
【図１】関連技術による注意ベースエンドツーエンド音声認識方法を示すブロック図である。
【図２】本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュールを示すブロック図である。
【図３】本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュール内のニューラルネットワークを示す概略図である。
【図４】本発明の実施形態によるオープン語彙エンドツーエンド音声認識システムを示すブロック図である。
【図５Ａ】本発明の実施形態によるオープン語彙エンドツーエンド音声認識を実行することによって得られる評価結果を示す図である。
【図５Ｂ】本発明の実施形態による異なる言語モデルを用いた単語誤り率（ＷＥＲ：：word error rate）を示す図である。
【図６】本発明の実施形態によるオープン語彙エンドツーエンド音声認識による、ビーム幅の関数としての単語誤り率を示す評価結果を示す図である。
【図７】２０Ｋ〜６５Ｋの異なる語彙サイズ及びオープン語彙条件を用いたときのＷＥＲの比較を示す評価結果を示す図である。
【発明を実施するための形態】
【００１２】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００１３】
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も、限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。
【００１４】
以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解できる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細によって不明瞭とならないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細を省いて示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００１５】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００１６】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
【００１７】
本開示において例示されるモジュール及びネットワークは、コンピュータプログラム、ソフトウェア又は命令コードとすることができ、１つ以上のプロセッサを用いて命令を実行することができる。モジュール及びネットワークは１つ以上の記憶デバイスに記憶することができるか、又は別の状況では、例えば、磁気ディスク、光ディスク若しくはテープ等の、記憶媒体、コンピュータ記憶媒体又はデータ記憶デバイス（取外し可能及び／又は非取外し可能）等のコンピュータ可読媒体に記憶することができ、コンピュータ可読媒体は、命令を実行するために１つ以上のプロセッサからアクセス可能である。
【００１８】
コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するための任意の方法又は技術において実現される揮発性及び不揮発性、取外し可能及び非取外し可能の媒体を含むことができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ若しくはフラッシュメモリ、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために使用することができ、１つ以上のプロセッサを用いて、アプリケーション、モジュール又は両方によってアクセスすることができる任意の他の媒体とすることができる。任意のそのようなコンピュータ記憶媒体は、そのデバイスの一部とすることができるか、そのデバイスからアクセス可能とすることができるか、又はそのデバイスに接続可能とすることができる。本明細書において説明される任意のアプリケーション又はモジュールは、そのようなコンピュータ可読媒体によって記憶できるか、又は別の方法で保持できるコンピュータ可読／実行可能命令を用いて実現することができる。
【００１９】
図１は、関連技術による、注意ベースエンドツーエンド音声認識モジュール１００を示すブロック図である。注意ベースエンドツーエンド音声認識モジュール１００において、エンコーダモジュール１０２は、最初に、エンコーダネットワークパラメータ１０３から読み出されたエンコーダネットワークを用いて、音響特徴系列１０１を隠れベクトル系列に変換する。次に、注意デコーダモジュール１０４は、エンコーダネットワークモジュール１０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール１０６から先行するラベルを受信し、デコーダネットワークパラメータ１０５から読み出されたデコーダネットワークを用いて、先行するラベルに関する次のラベルの事後確率分布を計算する。ラベルは、文字、音節、単語又は対象言語を表現する任意の単位とすることができるが、文字が広く使用される。ラベル系列探索モジュール１０６は、注意デコーダモジュール１０４によって与えられた事後確率分布を用いて、最も高い系列確率を有するラベル系列を見つける。ラベル系列の事後確率は、系列におけるラベルの事後確率の積として計算される。
【００２０】
注意ベースエンドツーエンド音声認識システムは、通常、所与の音声入力の文字系列を予測するように設計される。なぜなら、エンコーダネットワークパラメータ１０３及びデコーダネットワークパラメータ１０５を最適化するために使用されるデータ量が、システムが単語系列を予測する場合と比較してはるかに少なくなるからである。一方、十分なトレーニングデータが利用可能である場合、文字ベース予測は、長い文字系列にわたって言語的制約をモデル化することが難しいことから、単語ベース予測に比べて一般に性能が劣る。しかし、対応する手動トランスクリプションを有する大量の音声データを収集することは、非常に多くのコストを要する。したがって、エンドツーエンド音声認識に単語レベル予測を組み込んで認識精度を改善することは容易ではない。
【００２１】
その上、単語レベル予測を行うときは別の問題もあり、これは、語彙外（ＯＯＶ：out−of−vocabulary）問題として知られている。一般に、全ての単語がトレーニングデータに現れるわけではなく、また、新たな単語が人間によって生み出されることが多いので、ＡＳＲシステムの語彙に含まれない多くの単語が存在する。ＯＯＶ問題は、音声信号内のそのようなＯＯＶ単語をＡＳＲシステムによって正しく認識することができないということである。
【００２２】
本発明のいくつかの実施形態は、注意ベース確率を文字レベルＬＭ確率及び単語レベルＬＭ確率と組み合わせることによってラベル系列仮説の精度を改善することが可能であるという認識に基づいている。文字レベルＬＭ及び単語レベルＬＭは、テキストのみのデータを用いてトレーニングすることができる。テキストデータは、トランスクリプト付き音声データより容易に収集することができるので、本発明によって、エンドツーエンドＡＳＲの単語レベル予測を行うことが可能になる。これによって、十分なテキストデータを用いて単語レベルＬＭをトレーニングすることによって音声認識精度が改善される。さらに、本発明は、文字レベルＬＭ及び単語レベルＬＭを組み合わせることによってＯＯＶ問題も緩和する。
【００２３】
図２は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュール２００を示すブロック図である。オープン語彙エンドツーエンド音声認識モジュール２００は、エンコーダネットワークモジュール２０２と、エンコーダネットワークパラメータ２０３と、注意デコーダモジュール２０４と、デコーダネットワークパラメータ２０５と、ラベル系列探索モジュール２０６と、ＣＴＣモジュール２０８と、ＣＴＣネットワークパラメータ２０９と、ＬＭモジュール２１０と、文字ＬＭパラメータ２１１と、単語ＬＭパラメータ２１２とを含む。エンコーダネットワークパラメータ２０３、デコーダネットワークパラメータ２０５、ＣＴＣネットワークパラメータ２０９、ＬＭパラメータは、対応するモジュール２０２、２０４、２０８及び２１０にパラメータを提供する記憶デバイスにそれぞれ記憶される。音響特徴系列２０１は、図４の音響特徴抽出モジュール４３４を用いて、オーディオ波形データ又はスペクトルデータから抽出される。オーディオ波形データ又はスペクトルデータは、記憶デバイスに記憶され、エンコーダネットワークモジュール２０２に与えることができる。オーディオ波形データ又はスペクトルデータは、声音を受信し、オーディオ波形データ又はスペクトルデータに変換するデジタル信号処理モジュール(図示せず）を用いて、図４の入力デバイス４７５を介して取得することができる。さらに、記憶デバイス４３０又はメモリ４４０に記憶されるオーディオ波形データ又はスペクトルデータは、エンコーダネットワークモジュール２０２に与えることができる。声音の信号は、図４のネットワーク４９０を介して与えることができる。入力デバイス４７５は、マイクロフォンデバイスとすることができる。
【００２４】
エンコーダネットワークモジュール２０２はエンコーダネットワークを含み、エンコーダネットワークパラメータ２０３からパラメータを読み出すエンコーダネットワークを用いて、音響特徴系列２０１が隠れベクトル系列に変換される。
【００２５】
注意デコーダネットワークモジュール２０４を使用する注意機構は、以下のように説明される。注意デコーダネットワークモジュール２０４は、デコーダネットワークを含む。注意デコーダネットワークモジュール２０４は、エンコーダネットワークモジュール２０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール２０６から先行するラベルを受信し、その後、デコーダネットワークパラメータ２０５からパラメータを読み出すデコーダネットワークを用いて、先行するラベルに関する次のラベルの第１の事後確率分布を計算する。注意デコーダネットワークモジュール２０４は、第１の事後確率分布をラベル系列探索モジュール２０６に与える。ＣＴＣモジュール２０８は、エンコーダネットワークモジュール２０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール２０６から先行するラベルを受信し、ＣＴＣネットワークパラメータ２０９及び動的計画法を用いて、次のラベル系列の第２の事後確率分布を計算する。この計算後、ＣＴＣモジュール２０８は、第２の事後確率分布をラベル系列探索モジュール２０６に与える。
【００２６】
ＬＭモジュール２１０は、先行するラベルをラベル系列探索モジュール２０６から受信し、ＬＭパラメータ２１１を用いて次のラベル系列の第３の事後確率分布を計算する。さらに、この計算後、ＬＭモジュール２１０は、第３の事後確率分布をラベル系列探索モジュール２０６に提供する。
【００２７】
ラベル系列探索モジュール２０６は、注意デコーダネットワークモジュール２０４、ＣＴＣモジュール２０８及びＬＭモジュール２１０からそれぞれ与えられる第１の事後確率分布、第２の事後確率分布及び第３の事後確率分布を用いて、最も高い系列確率を有するラベル系列を見つける。注意デコーダネットワークモジュール２０４、ＣＴＣモジュール２０８及びＬＭモジュール２１０によって計算されるラベル系列の第１の事後確率分布、第２の事後確率分布及び第３の事後確率は、１つの確率に結合される。この場合、事後確率の結合の計算は、線形結合に基づいて実行することができる。オープン語彙エンドツーエンド音声認識モジュール２００によれば、ＣＴＣベース確率、注意ベース確率及びＬＭベース確率を考慮に入れて、入力音響特徴系列に対してより良好な仮説を見つけることが可能になる。
【００２８】
本開示の実施形態によれば、ＬＭモジュール２１０を導入することによってエンドツーエンドＡＳＲの認識精度を改善することが可能になる。ＬＭモジュール２１０は、文字レベル再帰型ニューラルネットワーク（ＲＮＮ）及び単語レベルＲＮＮを含むことができる。いくつかの場合において、ＬＭモジュール２１０は、ハイブリッドネットワーク又はハイブリッドネットワークモジュールと呼ばれる場合がある。この場合、ＬＭモジュール２１０は、文字ＬＭパラメータ２１１によって定義された文字レベルＬＭと、単語ＬＭパラメータ２１２によって定義された単語レベルＬＭとを用いてＬＭ確率を計算する。ＬＭモジュールは、オープン語彙音声認識の実行も可能にする。すなわち、ＯＯＶ単語が発話された場合であっても、それらのＯＯＶ単語は、文字レベルＬＭ及び単語レベルＬＭの双方を用いることによって認識される。本発明の復号プロセスでは、単語境界に遭遇するまで、文字系列仮説が、文字レベルＬＭ確率を用いて最初にスコアリングされる。次に、既知の単語が、単語レベルＬＭ確率を用いて再スコアリングされるとともに、文字レベルＬＭは、ＯＯＶ単語のＬＭ確率スコアを与える。
【００２９】
注意ベースエンドツーエンド音声認識
エンドツーエンド音声認識は、入力音響特徴系列Ｘが与えられたときの最確ラベル系列
【数１】
2021501376.tif 000003
を見つける問題と一般に定義される。すなわち、
【数２】
2021501376.tif 000004
である。ただし、
【数３】
2021501376.tif 000005
は１組の所定のラベル
【数４】
2021501376.tif 000006
が与えられたときの１組の取り得るラベル系列を表す。ラベルは、文字又は単語とすることができる。
【００３０】
エンドツーエンド音声認識において、発音辞書及び言語モデルを用いることなく、あらかじめトレーニングされたニューラルネットワークによってｐ（Ｙ｜Ｘ）が計算される。関連技術の注意ベースエンドツーエンド音声認識では、ニューラルネットワークは、エンコーダネットワーク及びデコーダネットワークからなる。
【００３１】
エンコーダモジュール１０２は、
【数５】
2021501376.tif 000007
として、音響特徴系列Ｘ＝ｘ１，．．．，ｘＴを隠れベクトル系列Ｈ＝ｈ１，．．．，ｈＴに変換するために使用されるエンコーダネットワークを含む。ただし、関数Ｅｎｃｏｄｅｒ（Ｘ）は、スタックされる、１つ以上の再帰型ニューラルネットワーク（ＲＮＮ）からなることができる。ＲＮＮは長短期メモリ（ＬＳＴＭ）として実現することができ、長短期メモリは、各隠れユニット内に入力ゲート、忘却ゲート、出力ゲート及びメモリセルを有する。別のＲＮＮは双方向ＲＮＮ（ＢＲＮＮ）又は双方向ＬＳＴＭ（ＢＬＳＴＭ）とすることができる。ＢＬＳＴＭは一対のＬＳＴＭ  ＲＮＮであり、一方は順方向ＬＳＴＭであり、他方は逆方向ＬＳＴＭである。ＢＬＳＴＭの隠れベクトルは、順方向ＬＳＴＭ及び逆方向ＬＳＴＭの隠れベクトルの連結として取得される。
【００３２】
順方向ＬＳＴＭの場合、順方向の第ｔの隠れベクトル
【数６】
2021501376.tif 000008
は以下のように計算される。
【数７】
2021501376.tif 000009
ただし、σ（・）は要素ごとのシグモイド関数であり、ｔａｎｈ（・）は要素ごとの双曲線正接関数であり、
【数８】
2021501376.tif 000010
、及び
【数９】
2021501376.tif 000011
はそれぞれ、ｘｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。
【数１０】
2021501376.tif 000012
はベクトル間の要素ごとの乗算を表す。重み行列
【数１１】
2021501376.tif 000013
及びバイアスベクトル
【数１２】
2021501376.tif 000014
はＬＳＴＭのパラメータであり、それらは下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝
によって識別される。例えば、
【数１３】
2021501376.tif 000015
は隠れ／入力ゲート行列であり、
【数１４】
2021501376.tif 000016
は入力／出力ゲート行列である。隠れベクトル
【数１５】
2021501376.tif 000017
は入力ベクトルｘｔ及び先行する隠れベクトル
【数１６】
2021501376.tif 000018
から再帰的に取得される。ただし、
【数１７】
2021501376.tif 000019
は零ベクトルであると仮定される。
【００３３】
逆方向ＬＳＴＭによれば、逆方向の第ｔの隠れベクトル
【数１８】
2021501376.tif 000020
は以下のように計算される。
【数１９】
2021501376.tif 000021
ただし、
【数２０】
2021501376.tif 000022
及び
【数２１】
2021501376.tif 000023
はそれぞれ、ｘｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列
【数２２】
2021501376.tif 000024
及びバイアスベクトル
【数２３】
2021501376.tif 000025
はＬＳＴＭのパラメータであり、それらは順方向ＬＳＴＭと同様にして下付き文字によって識別される。隠れベクトル
【数２４】
2021501376.tif 000026
は入力ベクトルｘｔ及び後続の隠れベクトル
【数２５】
2021501376.tif 000027
から再帰的に取得される。ただし、
【数２６】
2021501376.tif 000028
は零ベクトルであると仮定される。
【００３４】
ＢＬＳＴＭの隠れベクトルは、以下のように、順方向隠れベクトル及び逆方向隠れベクトルを連結することによって取得される。
【数２７】
2021501376.tif 000029
ただし、Ｔは、全てのベクトルが列ベクトルであると仮定するときに、ベクトルに関する転置演算を表す。
【数２８】
2021501376.tif 000030
及び
【数２９】
2021501376.tif 000031
はＢＬＳＴＭのパラメータと見なされる。
【００３５】
より良好な隠れベクトルを取得するために、第１のＢＬＳＴＭの隠れベクトルを第２のＢＬＳＴＭに送り込み、その後、第２のＢＬＳＴＭの隠れベクトルを第３のＢＬＳＴＭに送り込み、以下同様にすることによって、複数のＢＬＳＴＭをスタックすることができる。ｈｔ’が１つのＢＬＳＴＭによって取得された隠れベクトルである場合には、それを別のＢＬＳＴＭに送り込むときに、ｘｔ＝ｈｔ’であると仮定する。計算を削減するために、１つのＢＬＳＴＭから別のＢＬＳＴＭに１つおきの隠れベクトルのみを送り込むことができる。この場合、出力隠れベクトル系列の長さは、入力音響特徴系列の長さの半分になる。
【００３６】
複数のＢＬＳＴＭの下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ
【数３０】
2021501376.tif 000032
及び
【数３１】
2021501376.tif 000033
は、エンコーダネットワークパラメータ２０３に記憶され、隠れベクトル系列Ｈを計算するために使用される。
【００３７】
注意デコーダモジュール１０４は、隠れベクトル系列Ｈを用いて、ラベル系列確率ｐａｔｔ（Ｙ｜Ｘ）を計算するために使用されるデコーダネットワークを含む。ＹがＬ長のラベル系列ｙ１，ｙ２，．．．，ｙＬであると仮定する。ｐａｔｔ（Ｙ｜Ｘ）を効率的に計算するために、その確率は、
【数３２】
2021501376.tif 000034
として確率連鎖律によって分割することができ、各ラベル確率ｐａｔｔ（ｙｌ｜ｙ１，．．．，ｙｌ−１，Ｘ）はラベルにわたる確率分布から取得され、その確率分布は、
【数３３】
2021501376.tif 000035
としてデコーダネットワークを用いて推定される。ただし、ｙはラベルを表す確率変数であり、ｒｌはコンテンツベクトルと呼ばれ、それはＨのコンテンツ情報を有する。ｑｌ−１はデコーダ状態ベクトルであり、それは、先行するラベルｙ１，．．．，ｙｌ−１及び先行するコンテンツベクトルｒ０，．．．，ｒｌ−１の文脈情報を含む。したがって、ラベル確率は、文脈を与えられるとすると、ｙ＝ｙｌの確率として取得され、すなわち、
【数３４】
2021501376.tif 000036
である。
【００３８】
コンテンツベクトルｒｌは一般に、エンコーダネットワークの隠れベクトルの加重和として与えられ、すなわち、
【数３５】
2021501376.tif 000037
である。ただし、ａｌｔは注意重みと呼ばれ、それはΣｔａｌｔ＝１を満たす。注意重みはｑｌ−１及びＨを用いて、以下のように計算することができる。
【数３６】
2021501376.tif 000038
ただし、Ｗ、Ｖ、Ｆ及びＵは行列であり、ｗ及びｂはベクトルであり、それらはデコーダネットワークのトレーニング可能なパラメータである。ｅｌｔは第（ｌ−１）の状態ベクトルｑｌ−１と第ｔの隠れベクトルｈｔとの間の照合スコアであり、時間的なアライメント分布ａｌ＝｛ａｌｔ｜ｔ＝１，．．．，Ｔ｝を形成する。ａｌ−１は、先行するラベルｙｌ−１を予測するために使用される先行するアライメント分布｛ａ（ｌ−１）ｔ｜ｔ＝１，．．．，Ｔ｝を表す。ｆｌ＝｛ｆｌｔ｜ｔ＝１，．．．，Ｔ｝は、ａｌ−１に関するＦとの畳み込み結果であり、それは、先行するアライメントを現在のアライメントに反映させるために使用される。「＊」は畳み込み演算を表す。
【００３９】
ラベル確率分布は、
【数３７】
2021501376.tif 000039
として状態ベクトルｑｌ−１及びコンテンツベクトルｒｌを用いて取得される。ただし、Ｗｑｙ及びＷｒｙは行列であり、ｂｙはベクトルであり、それらはデコーダネットワークのトレーニング可能なパラメータである。ｓｏｆｔｍａｘ（）関数は、Ｋ次元ベクトルｖの場合に、
【数３８】
2021501376.tif 000040
として計算される。ただし、ｖ［ｉ］は、ｖの第ｉの要素を示す。
【００４０】
その後、デコーダ状態ベクトルｑｌ−１が、以下のように、ＬＳＴＭを用いて、ｑｌに更新される。
【数３９】
2021501376.tif 000041
ただし、
【数４０】
2021501376.tif 000042
及び
【数４１】
2021501376.tif 000043
はそれぞれ、入力ベクトルｘｌに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列
【数４２】
2021501376.tif 000044
及びバイアスベクトル
【数４３】
2021501376.tif 000045
はＬＳＴＭのパラメータであり、それは順方向ＬＳＴＭと同様にして下付き文字によって識別される。状態ベクトルｑｌは入力ベクトル
【数４４】
2021501376.tif 000046
及び先行する状態ベクトルｑｌ−１から再帰的に取得され、ただし、ｑ０は、ｑ−１＝０、ｙ０＝＜ｓｏｓ＞及びａ０＝１／Ｔを仮定して計算される。デコーダネットワークの場合、入力ベクトル
【数４５】
2021501376.tif 000047
は、ラベルｙｌ及びコンテンツベクトルｒｌの連結ベクトルとして与えられ、それは
【数４６】
2021501376.tif 000048
として取得することができ、ただし、Ｅｍｂｅｄ（・）は、ラベルを固定次元ベクトルに変換するラベル埋め込みを表す。例えば、これは、以下の式によって計算することができる。
【数４７】
2021501376.tif 000049
ただし、ＯｎｅＨｏｔ（ｙ）は、ラベルインデックスをワンホットベクトル表現に変換するラベルｙの１−ｏｆ−Ｎコーディングを表す。
【数４８】
2021501376.tif 000050
は、行列であり、トレーニング可能なパラメータである。
【００４１】
下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ
【数４９】
2021501376.tif 000051
及び
【数５０】
2021501376.tif 000052
と、Ｗｑｙ、Ｗｒｙ、ｂｙ、
【数５１】
2021501376.tif 000053
は、デコーダネットワークパラメータ２０５に記憶され、ラベル確率分布ｐａｔｔ（ｙ｜ｙ１，．．．，ｙｌ−１，Ｘ）を計算するために使用される。
【００４２】
関連技術のラベル系列探索モジュール１０６は、式（１）における最確ラベル系列
【数５２】
2021501376.tif 000054
を見つける。しかしながら、Ｙの全ての取り得るラベル系列を列挙し、ｐａｔｔ（Ｙ｜Ｘ）を計算することは困難である。なぜなら、取り得るラベル系列の数は、系列の長さに対して指数関数的に増加するからである。それゆえ、
【数５３】
2021501376.tif 000055
を見つけるために、一般にビーム探索技法が使用され、その技法では、短い方のラベル系列仮説が最初に生成され、長い方の仮説を取得するために、他の仮説より高いスコアを有する限られた数の仮説のみが拡張される。最後に、系列の最後に達した完全な仮説において、最良のラベル系列仮説が選択される。
【００４３】
ビーム探索方法によれば、ラベル系列探索モジュール１０６は、以下のように、
【数５４】
2021501376.tif 000056
を見つける。Ωｌを長さｌの１組の部分仮説であるとする。第１のパスのビーム探索の開始時に、Ω０は、開始記号＜ｓｏｓ＞を有する１つの仮説のみを含む。ｌ＝１〜Ｌｍａｘの場合に、Ωｌ−１内の各部分仮説が、取り得る単一のラベルを付加することによって拡張され、新たな仮説がΩｌに記憶される。ただし、Ｌｍａｘは、探索されることになる仮説の最大長である。新たな各仮説のスコアは
【数５５】
2021501376.tif 000057
として対数領域において計算される。ただし、ｇはΩｌ−１内の部分仮説であり、ｙはｇに付加される単一のラベルであり、ｈは新たな仮説であり、すなわち、ｈ＝ｇ・ｙである。確率ｐａｔｔ（ｙ｜ｇ）は式（１６）によって計算することができる。ただし、Φａｔｔ（＜ｓｏｓ＞）＝０であると仮定する。
【００４４】
ｙが、系列の終了を表す特殊なラベル＜ｅｏｓ＞である場合には、ｈが
【数５６】
2021501376.tif 000058
に加えられるが、Ωｌには加えられない。ただし、
【数５７】
2021501376.tif 000059
は１組の完全な仮説を表す。最後に、
【数５８】
2021501376.tif 000060
が、
【数５９】
2021501376.tif 000061
として取得される。
【００４５】
ビーム探索プロセスにおいて、Ωｌは、より高いスコアを有する限られた数の仮説のみを保持することを許され、他の仮説は、探索効率を改善するために切り取られる。
【００４６】
より具体的な手順が以下のように要約される。
【数６０】
2021501376.tif 000062
【００４７】
この手順において、Ωｌ及び
【数６１】
2021501376.tif 000063
はそれぞれ、長さｌの部分仮説及び完全な仮説を受け入れる待ち行列として実現される。１行目〜２行目において、Ω０及び
【数６２】
2021501376.tif 000064
が空の待ち行列として初期化される。３行目において、初期仮説＜ｓｏｓ＞のスコアが０に設定される。４行目〜２３行目において、Ωｌ−１内の各部分仮説ｇが、ラベルセットＵ∪｛＜ｅｏｓ＞｝内の各ラベルｙによって拡張される。ただし、演算Ｈｅａｄ（Ω）は待ち行列Ω内の第１の仮説を返し、Ｄｅｑｕｅｕｅ（Ω）は待ち行列から第１の仮説を除去する。
【００４８】
拡張された各仮説ｈは、１１行目において注意デコーダネットワークを用いてスコアリングされる。その後、ｙ＝＜ｅｏｓ＞である場合には、仮説ｈは完全であると仮定され、１３行目において
【数６３】
2021501376.tif 000065
に記憶される。ただし、
【数６４】
2021501376.tif 000066
はｈを
【数６５】
2021501376.tif 000067
に加える演算である。ｙ≠＜ｅｏｓ＞である場合には、１５行目においてｈがΩｌに記憶される。ここで、Ωｌ内の仮説の数、すなわち、｜Ωｌ｜が１６行目において所定の数ｂｅａｍＷｉｄｔｈと比較される。｜Ωｌ｜がｂｅａｍＷｉｄｔｈを超えている場合には、１７行目〜１８行目において、Ωｌ内の最少スコアｈｍｉｎを有する仮説がΩｌから除去される。ただし、Ｒｅｍｏｖｅ（Ωｌ，ｈｍｉｎ）は、Ωｌからｈｍｉｎを除去する演算である。最後に、２４行目において、
【数６６】
2021501376.tif 000068
が最良の仮説として選択される。
【００４９】
オープン語彙エンドツーエンド音声認識 
本発明の実施形態による、オープン語彙エンドツーエンド音声認識モジュール２００を用いたエンドツーエンド音声認識を実行する方法を以下に説明する。
【００５０】
より正確なラベル系列確率を得るために、式（３１）におけるＬＭベースラベル系列確率ｐｌｍ（Ｙ）及び式（５３）におけるＣＴＣベースラベル系列確率ｐｃｔｃ（Ｙ｜Ｘ）が、式（１４）における注意ベースラベル系列確率ｐａｔｔ（Ｙ｜Ｘ）と結合される。ただし、これらの確率は、線形結合によって結合することができる。
【００５１】
マルチレベルＲＮＮ−ＬＭを用いたＬＭ確率
ＬＭ確率は、本発明の実施形態によれば、ＲＮＮ−ＬＭ又はマルチレベルＲＮＮ−ＬＭを用いて、
【数６７】
2021501376.tif 000069
として計算することができる。
【００５２】
ＬＭモジュール２１０は、文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭを含み、それらのパラメータは、それぞれ文字ＬＭパラメータ２１１及び単語ＬＭパラメータ２１２から読み出される。
【００５３】
ＲＮＮ−ＬＭは、ラベルにわたる確率分布を計算するために使用することができ、この確率分布は、ＲＮＮ−ＬＭを用いて、
【数６８】
2021501376.tif 000070
として推定される。ただし、
【数６９】
2021501376.tif 000071
は行列であり、
【数７０】
2021501376.tif 000072
はベクトルであり、これらはＲＮＮ−ＬＭのトレーニング可能なパラメータである。ｓｌ−１はＬＭ状態ベクトルであり、ＲＮＮ−ＬＭのＬＳＴＭを用いて、
【数７１】
2021501376.tif 000073
として、ｓｌに更新することができる。ただし、
【数７２】
2021501376.tif 000074
及び
【数７３】
2021501376.tif 000075
はそれぞれ、入力ベクトル
【数７４】
2021501376.tif 000076
に関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列
【数７５】
2021501376.tif 000077
及びバイアスベクトル
【数７６】
2021501376.tif 000078
はＲＮＮ−ＬＭに関するＬＳＴＭのパラメータであり、それは順方向ＬＳＴＭと同様にして下付き文字によって識別される。状態ベクトルｓｌは入力ベクトル
【数７７】
2021501376.tif 000079
及び先行する状態ベクトルｓｌ−１から再帰的に取得され、ただし、ｓ０は、ｓ−１＝０及びｙ０＝＜ｓｏｓ＞を仮定して計算される。デコーダネットワークの場合、入力ベクトル
【数７８】
2021501376.tif 000080
は、ラベルｙｌのベクトルとして与えられ、それは
【数７９】
2021501376.tif 000081
として取得することができ、ただし、Ｅｍｂｅｄ（・）は、ラベルを固定次元ベクトルに変換するラベル埋め込みを表す。例えば、これは、以下の式によって計算することができる。
【数８０】
2021501376.tif 000082
ただし、ＯｎｅＨｏｔ（ｙ）は、ラベルインデックスをワンホットベクトル表現に変換するラベルｙの１−ｏｆ−Ｎコーディングを表す。
【数８１】
2021501376.tif 000083
は行列であり、ＲＮＮ−ＬＭのトレーニング可能なパラメータである。
【００５４】
ラベル確率は、文脈が与えられると、ｙ＝ｙｌの確率として取得され、すなわち、
【数８２】
2021501376.tif 000084
である。
【００５５】
注意デコーダネットワークモジュール２０４によって与えられるラベル確率と異なり、ＬＭ確率は音響特徴系列Ｘに依存しない。
【００５６】
以下では、オープン語彙エンドツーエンドＡＳＲの文字レベルＬＭ及び単語レベルＬＭを結合することによって、ラベル確率ｐｌｍ（ｙｌ｜ｙ１，．．．，ｙｌ−１）を計算する方法を導入する。
【００５７】
２つのＲＮＮ−ＬＭが存在すると仮定する。一方は、１組の文字系列を用いてトレーニングされる文字レベルＲＮＮ−ＬＭであり、他方は、１組の単語系列を用いてトレーニングされる単語レベルＲＮＮ−ＬＭである。
【００５８】
文字系列ｙ１，．．．，ｙｌ−１、ｙｌに関して文字レベルＲＮＮ−ＬＭによって計算される文字確率をｐｃｌｍ（ｙｌ｜ｙ１，．．．，ｙｌ−１）と表し、単語系列ｗ１，．．．，ｗｍ−１、ｗｍに関して単語レベルＲＮＮ−ＬＭによって計算される単語確率をｐｗｌｍ（ｗｍ｜ｗ１，．．．，ｗｍ−１）と表すことにする。双方の確率は、式（３２）〜（３９）と同じ方法であるが、異なるパラメータセットを用いて計算することができる。
【００５９】
文字ベースエンドツーエンドＡＳＲシステムは、単語内の文字と同様に単語間の空白（space）文字も予測することを考慮に入れる。空白文字は実際の文字コードを有することに留意されたい。空白文字を用いると、任意の文字系列を単語系列に決定論的にマッピングすることが可能であり、例えば、文字系列
ａ，＜ｓｐａｃｅ＞，ｃ，ａ，ｔ，＜ｓｐａｃｅ＞，ｅ，ａ，ｔ，ｓ
は、一意の単語系列
ａ，ｃａｔ，ｅａｔｓ
にマッピングされる。ただし、＜ｓｐａｃｅ＞は、空白文字を形式的に表す。したがって、デコーダが空白文字を仮定するときにのみ、デコーダは、単語レベルＲＮＮ−ＬＭを用いて最後の単語の確率を計算し、この確率を仮説スコアに単に累算する。種々のタイプの同形異音語及び同音異形語（homonym）について特殊な扱いは必要ない。すなわち、同じスペルを有するが異なる発音を有する単語は、単語言語モデルによって文脈に応じた方法で取り扱われる一方、同じ発音を有するが異なるスペルを有する単語は、ビーム探索において異なる単語仮説として自動的に取り扱われる。同様に、多義的な単語分割は、異なる復号仮説として自動的に取り扱われる。
【００６０】
一実施形態による機構は、以下のように文字レベルＬＭ確率を変更することによって実施することができる。
【００６１】
Ｖを、単語レベルＲＮＮ−ＬＭの語彙とし、＜ＵＮＫ＞等のＯＯＶ単語の抽象記号を含むものとする。式（３１）における条件付きラベル確率を、
【数８３】
2021501376.tif 000085
として計算する。ただし、Ｓは、単語の終了を示す１組のラベルを表す。すなわち、Ｓ＝｛＜ｓｐａｃｅ＞，＜ｅｏｓ＞｝である。ｗｇは、文字系列ｇの最後の単語であり、ψｇは、ｗｇを除くｇに対応する単語系列である単語レベル履歴である。上記例について、ｇ、ｗｇ及びψｇは、
【数８４】
2021501376.tif 000086
として設定される。
【数８５】
2021501376.tif 000087
は、ＯＯＶ単語の確率を調整するために使用される倍率である。
【００６２】
式（４０）の右辺における第１の条件は、文字ｃが先行する単語の終了を示すときに使用される。この場合、単語レベル確率ｐｗｌｍ（ｗｇ｜ψｇ）は、単語レベルＲＮＮ−ＬＭを用いて計算される。分母ｐｃｌｍ（ｗｇ｜ψｇ）は、文字レベルＲＮＮ−ＬＭによって取得されるとともに、ｗｇについて累算された文字レベルＬＭ確率をキャンセルするために使用されるｗｇの確率である。この確率は、
【数８６】
2021501376.tif 000088
として計算することができる。ただし、｜ｗｇ｜は、単語ｗｇの文字数であり、ｗｇ，ｉは、ｗｇの第ｉ文字を示し、
【数８７】
2021501376.tif 000089
は、ψｇの文字表現であり、例えば、
ψｇ＝ａ，ｃａｔである場合に、
【数８８】
2021501376.tif 000090
である。
【００６３】
したがって、文字系列ｇに関する累算された文字レベルＬＭ確率は、対応する単語レベルＬＭ確率によってリスコアリングされる。
【００６４】
第２項ｐｗｌｍ（＜ＵＮＫ＞｜ψｇ）は、文字レベルＬＭに対する重みとして機能し、結合された言語モデルが、単語境界及び中間の双方において文字系列にわたって正規化されることを保証する。
【００６５】
ｗｇが、第２の条件におけるようにＯＯＶ単語である場合には、単語レベルＲＮＮ−ＬＭ及び文字レベルＲＮＮ−ＬＭを用いてＯＯＶ単語の単語レベル確率を、
【数８９】
2021501376.tif 000091
として計算することができると仮定する。文字レベル確率は、
【数９０】
2021501376.tif 000092
を満たすので、文字レベル確率は、
【数９１】
2021501376.tif 000093
として近似され、
【数９２】
2021501376.tif 000094
が取得される。ただし、倍率
【数９３】
2021501376.tif 000095
であると仮定され、これは調節可能なパラメータとして設定される。式（４０）の第２の条件において、文字ベース確率ｐｃｌｍ（ｗｇ｜ψｇ）は、この仮説について既に累算されているので削除される。この項によって、ＯＯＶ単語及び語彙内単語の予測が可能になり、オープン語彙ＡＳＲが可能になる。
【００６６】
式（４０）の第３の場合は、文字レベルＬＭ確率を単語内の仮説に与える。文字レベルＬＭ確率は、あらゆる既知の単語仮説の終了時にキャンセルされる。そのため、文字レベルＬＭ確率は、ＯＯＶ単語をスコアリングするためにのみ使用されるが、単語レベルＬＭ確率が適用される単語の終了まで、ビーム探索において正しい単語仮説を能動的なものに保つ際に別の重要な役割を果たす。
【００６７】
下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ
【数９４】
2021501376.tif 000096
及び
【数９５】
2021501376.tif 000097
と、文字レベルＬＭ及び単語レベルＬＭの
【数９６】
2021501376.tif 000098
とはそれぞれ、文字ＬＭパラメータ２１１及び単語ＬＭパラメータ２１２に記憶される。
【００６８】
これらのパラメータは、ラベル確率分布ｐｌｍ（ｙ｜ｙ１，．．．，ｙｌ−１）を計算するために使用される。
【００６９】
ＣＴＣ確率
ＣＴＣモジュール２０８は、隠れベクトル系列Ｈが与えられると、ラベル系列ＹのＣＴＣ順方向確率を計算する。ＣＴＣ定式化は、１組の異なるラベルＵを有するＬ長のラベル系列Ｙ＝｛ｙｌ∈Ｕ｜ｌ＝１，．．．，Ｌ｝を使用することに留意されたい。付加的な「ブランク」ラベルを有するフレームごとのラベル系列を導入することによって、Ｚ＝｛ｚｔ∈Ｕ∪｛ｂ｝｜ｔ＝１，．．．，Ｔ｝となる。ただし、ｂはブランクラベルを表す。確率連鎖律と、条件付き独立仮定とを使用することによって、事後確率ｐ（Ｙ｜Ｘ）は以下のように分解される。
【数９７】
2021501376.tif 000099
ただし、ｐ（ｚｔ｜ｚｔ−１｜Ｙ）はブランクラベルを含むラベル遷移確率とみなされる。ｐ（ｚｔ｜Ｘ）は、入力系列Ｘを条件とし、双方向長短期メモリ（ＢＬＳＴＭ）を使用することによってモデル化される、フレームごとの事後確率である。
【数９８】
2021501376.tif 000100
ただし、ｈｔはエンコーダネットワークを用いて得られる。
【数９９】
2021501376.tif 000101
は行列であり、
【数１００】
2021501376.tif 000102
はベクトルであり、それらはＣＴＣのトレーニング可能なパラメータであり、ＣＴＣネットワークパラメータ２０９に記憶される。式（４６）は、全ての取り得るＺにわたる総和を取り扱わなければならないが、順方向アルゴリズムを使用することによって効率的に計算される。
【００７０】
ＣＴＣのための順方向アルゴリズムは以下のように実行される。長さ２Ｌ＋１の拡張ラベル系列Ｙ’＝ｙ’１，ｙ’２，．．．，ｙ’２Ｌ＋１＝ｂ，ｙ１，ｂ，ｙ２，．．．，ｂ，ｙＬ，ｂが使用される。ただし、ブランクラベル「ｂ」が各対の隣接するラベル間に挿入される。αｔ（ｓ）を順方向確率とする。それは時間フレーム１，．．．，ｔに関するラベル系列ｙ１，．．．，ｙｌの事後確率を表し、ただし、ｓは、拡張ラベル系列Ｙ’内の位置を示す。
【００７１】
初期化のために、
【数１０１】
2021501376.tif 000103
が設定される。ｔ＝２〜Ｔの場合に、αｔ（ｓ）は、
【数１０２】
2021501376.tif 000104
として再帰的に計算される。ただし、
【数１０３】
2021501376.tif 000105
である。最後に、ＣＴＣベースラベル系列確率が
【数１０４】
2021501376.tif 000106
として得られる。
【００７２】
フレームごとのラベル系列Ｚは、入力音響特徴系列Ｘと出力ラベル系列Ｙとの間のアライメントを表す。順方向確率を計算するとき、式（５１）の再帰によって、Ｚが単調になるように強制され、アライメントＺにおいてｓがループ又は大きくジャンプできないようにされる。なぜなら、αｔ（ｓ）を得るための再帰は、多くてもαｔ−１（ｓ）、αｔ−１（ｓ−１）、αｔ−１（ｓ−２）しか考慮しないためである。これは、時間フレームが１フレームだけ進むとき、ラベルが先行するラベル又はブランクから変化するか、又は同じラベルを維持することを意味する。この制約は、アライメントが単調になるように強制する遷移確率ｐ（ｚｔ｜ｚｔ−１，Ｙ）の役割を果たす。それゆえ、ｐｃｔｃ（Ｙ｜Ｘ）が、不規則な（非単調の）アライメントに基づいて計算されるときに、０又は非常に小さい値とすることができる。
【００７３】
図３は、本発明の実施形態による結合ニューラルネットワークモジュール３００を示す概略図である。結合ニューラルネットワーク３００は、エンコーダネットワークモジュール２０２と、注意デコーダネットワークモジュール２０４と、ＣＴＣモジュール２０８と、ＬＭモジュール２１０とを含む。各矢印は、変換を伴う、又は伴わないデータ転送を表し、各正方形ノード又は円形ノードは、ベクトル又は予測ラベルを表す。音響特徴系列Ｘ＝ｘ１，．．．，ｘＴが、エンコーダネットワークモジュール２０２に送り込まれ、エンコーダネットワークモジュールでは、２つのＢＬＳＴＭがスタックされ、第１のＢＬＳＴＭの１つおきの隠れベクトルが第２のＢＬＳＴＭに送り込まれる。エンコーダモジュール２０２の出力の結果、隠れベクトル系列Ｈ＝ｈ’１，ｈ’２，．．．，ｈ’Ｔ’が生成される。ただし、Ｔ’＝Ｔ／２である。その後、ＨがＣＴＣモジュール２０８及びデコーダネットワークモジュール２０４に送り込まれる。ＣＴＣベース系列確率、注意ベース系列確率及びＬＭベース系列確率がそれぞれ、ＣＴＣモジュール２０８、デコーダネットワークモジュール２０４、及びＬＭモジュール２１０を用いて計算され、ラベル系列確率を取得するために結合される。
【００７４】
オープン語彙エンドツーエンドＡＳＲのためのラベル系列探索
ラベル系列探索モジュール２０６は、結合されたラベル系列確率分布に従って、最確ラベル系列
【数１０５】
2021501376.tif 000107
を    
【数１０６】
2021501376.tif 000108
として見つける。ただし、ｐｃｔｃ（Ｙ｜Ｘ）は式（５３）におけるＣＴＣベースラベル系列確率であり、ｐａｔｔ（Ｙ｜Ｘ）は式（１４）における注意ベースラベル系列確率であり、ｐｌｍ（Ｙ）は式（３１）におけるＬＭベースラベル系列確率である。λ及びκは、これらの３つの確率のバランスをとるための倍率である。
【００７５】
本発明のビーム探索プロセスにおいて、各部分仮説ｈのスコアが、
【数１０７】
2021501376.tif 000109
として計算される。ただし、Φａｔｔ（ｈ）は式（２９）によって計算され、Φｌｍ（ｈ）は、
【数１０８】
2021501376.tif 000110
として得られる。
【００７６】
Φｃｔｃ（ｈ，Ｘ）を計算するために、自身のプレフィックスとしてｈを有する全てのラベル系列の累積確率として定義されるＣＴＣプレフィックス確率
【数１０９】
2021501376.tif 000111
が利用され、ＣＴＣスコアは、
【数１１０】
2021501376.tif 000112
と定義される。ただし、ｖは、空のストリングを除く、全ての取り得るラベル系列を表す。ＣＴＣスコアは、式（２９）におけるΦａｔｔ（ｈ）及び式（５６）におけるΦｌｍ（ｈ）として再帰的に得ることはできないが、入力時間フレームにわたって順方向確率を維持することによって、部分仮説ごとに効率的に計算することができる。
【００７７】
本発明の実施形態によれば、ラベル系列探索モジュール２０６は、
【数１１１】
2021501376.tif 000113
を以下の手順に従って見つける。
【数１１２】
2021501376.tif 000114
【００７８】
従来技術の注意ベースエンドツーエンドＡＳＲのためのビーム探索方法との相違がいくつかある。
【００７９】
４行目において、ＬＭスコアが初期化される。１４行目において、ジョイントスコアΦｊｏｉｎｔ（ｈ）が、ＣＴＣスコアΦｃｔｃ（ｈ、Ｘ）、注意ベーススコアΦａｔｔ（ｈ）、及びＬＭスコアΦｌｍ（ｈ）を用いて計算される。２０行目において、ジョイントスコアΦｊｏｉｎｔ（ｈ）が、ｈｍｉｎを選択するために使用される。２７行目において、ジョイントスコアΦｊｏｉｎｔ（ｈ）及び＜ｅｏｓ＞の単語レベルＬＭ確率が結合され、
【数１１３】
2021501376.tif 000115
が決定される。＜ｅｏｓ＞の単語レベルＬＭ確率は、式（４０）において考慮されないので、最終決定において結合する必要がある。
【００８０】
ＣＴＣスコアΦｃｔｃ（ｈ，Ｘ）は、修正順方向アルゴリズムを用いて計算することができる。
【数１１４】
2021501376.tif 000116
及び
【数１１５】
2021501376.tif 000117
を時間フレームｔ＝１，．．．，tにわたる仮説ｈの順方向確率であるとする。ただし、上付き文字（ｎ）及び（ｂ）はそれぞれ、全てのＣＴＣ経路が非ブランクラベル又はブランクラベルで終了する異なる事例を表す。ビーム探索を開始する前に、
【数１１６】
2021501376.tif 000118
及び
【数１１７】
2021501376.tif 000119
が、ｔ＝１，．．．，Ｔに関して、
【数１１８】
2021501376.tif 000120
として初期化される。ただし、
【数１１９】
2021501376.tif 000121
であり、ｂがブランクラベルであると仮定する。エンコーダに関するサブサンプリング技法のため、時間インデックスｔ及び入力長Ｔは入力発話Ｘの時間インデックス及び入力長とは異なる場合があることに留意されたい。ＣＴＣスコア関数は以下のように実施することができる。
【数１２０】
2021501376.tif 000122
【００８１】
この関数において、所与の仮説ｈが、１行目において、最初に、最後のラベルｙ及び残りのラベルｇに分割される。ｙが＜ｅｏｓ＞である場合には、３行目において、ｈが完全な仮説であると仮定して、順方向確率の対数を返す。ｈの順方向確率は、
【数１２１】
2021501376.tif 000123
及び
【数１２２】
2021501376.tif 000124
の定義に従って、
【数１２３】
2021501376.tif 000125
によって与えられる。ｙが＜ｅｏｓ＞でない場合には、ｈが完全な仮説でないと仮定して、順方向確率
【数１２４】
2021501376.tif 000126
及び
【数１２５】
2021501376.tif 000127
並びにプレフィックス確率Ψ＝ｐｃｔｃ（ｈ，．．．｜Ｘ）を計算する。それらの確率に関する初期化ステップ及び再帰ステップが５行目〜１３行目に記述される。この関数において、１０行目〜１２行目において
【数１２６】
2021501376.tif 000128
及びΨを計算するときにはいつでも、ｇがｈのプレフィックスであり、｜ｇ｜＜｜ｈ｜であるので、９行目の確率
【数１２７】
2021501376.tif 000129
及び
【数１２８】
2021501376.tif 000130
がビーム探索プロセスを通して既に取得されていると仮定される。したがって、プレフィックス確率及び順方向確率を効率的に計算することができる。９行目のｌａｓｔ（ｇ）は、ｇの最後のラベルを返す関数であることを留意されたい。
【００８２】
したがって、ビーム探索法は、探索プロセス中にＣＴＣスコアによって不規則なアライメントを伴う部分仮説を除外することができ、リスコアリング法と比べて少ない計算で、望ましくは探索誤りの数を削減する。探索誤りは、ビーム探索によって最確仮説が見逃されることを意味する。この場合、最良の仮説の代わりに、スコアが低い代替の仮説が取得され、代替の仮説は一般に、最良の仮説より多くの認識誤りを含む。
【００８３】
ネットワークトレーニング
ＡＳＲシステムを使用する前に、ネットワークパラメータ２０３、２０５及び２０９が、損失関数
【数１２９】
2021501376.tif 000131
を低減するように同時に最適化される。ただし、Ｘ及びＹは、音響特徴系列及びラベル系列を含むトレーニングデータである。Θは１組のネットワークパラメータを表す。Ｎは、トレーニングサンプルの数であり、Ｘｎ及びＹｎはそれぞれ、トレーニングデータ内の第ｎの音響特徴系列及び対応するラベル系列である。ｐｃｔｃ（Ｙｎ｜Ｘｎ，Θ）は、パラメータセットΘを用いて計算される式（５３）におけるＣＴＣベース系列確率であり、ｐａｔｔ（Ｙｎ｜Ｘｎ，Θ）は、パラメータセットΘを用いて計算される式（１４）における注意ベース系列確率である。ネットワークパラメータは、損失関数を低減するように確率的勾配降下法によって最適化することができる。このトレーニング手順は、エンコーダネットワーク、デコーダネットワーク、及びＣＴＣネットワークを同時に最適化する。
【００８４】
文字ＬＭパラメータ２１１及び単語レベルＬＭパラメータ２１２は、文字系列データＹ（Ｃ）及び単語系列データＹ（Ｗ）を用いて独立して最適化される。文字レベルＲＮＮ−ＬＭの損失関数は、
【数１３０】
2021501376.tif 000132
であり、単語レベルＲＮＮ−ＬＭの損失関数は、
【数１３１】
2021501376.tif 000133
である。ただし、Θｃｌｍ及びΘｗｌｍはそれぞれ、１組の文字ＬＭパラメータ及び１組の単語ＬＭパラメータを表す。
【数１３２】
2021501376.tif 000134
及び
【数１３３】
2021501376.tif 000135
は、式（３１）と同様に計算されるＬＭ確率である。Ｎ（ｃ）は、Ｙ（ｃ）におけるトレーニングサンプルの数であり、
【数１３４】
2021501376.tif 000136
は、Ｙ（ｃ）における第ｎの文字系列である。Ｎ（ｗ）は、Ｙ（ｗ）におけるトレーニングサンプルの数であり、
【数１３５】
2021501376.tif 000137
は、Ｙ（ｗ）における第ｎの文字系列である。
【００８５】
ＬＭパラメータは、損失関数を低減するように確率的勾配降下法によって最適化することができる。
【００８６】
オープン語彙エンドツーエンド音声認識装置
図４は、本発明のいくつかの実施形態による、オープン語彙エンドツーエンド音声認識システム（音声認識システム）４００のブロック図を示す。音声認識システム４００は、キーボード４１１及びポインティングデバイス／媒体４１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）４１０と、１つ以上のプロセッサ４２０と、記憶デバイス４３０と、メモリ４４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク４９０と接続可能なネットワークインターフェースコントローラー４５０（ＮＩＣ）と、ディスプレイインターフェース４６０と、マイクロフォンデバイス４７５と接続可能なオーディオインターフェース４７０と、印刷デバイス４８５と接続可能なプリンタインターフェース４８０とを含む。メモリ４４０は１つ以上のメモリユニットとすることができる。エンドツーエンド音声認識システム４００は、ＮＩＣ４５０に接続されるネットワーク４９０を介して電気的なオーディオ波形／スペクトルデータ４９５を受信することができる。記憶デバイス４３０は、エンドツーエンド音声認識モジュール２００、注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２、ＣＴＣモジュール２０８、及び音響特徴抽出モジュール４３４を含む。ラベル系列探索モジュール、エンコーダネットワークパラメータ、デコーダネットワークパラメータ及びＣＴＣネットワークパラメータは図において省略される。ポインティングデバイス／媒体４１２は、コンピュータ可読記録媒体上に記憶されるプログラムを読み出すモジュールを含むことができる。注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２及びＣＴＣモジュール２０８は、ニューラルネットワークパラメータによって形成することができる。音響特徴抽出モジュール４３４は、音響特徴系列を抽出するために使用されるプログラムである。音響特徴系列は、一次及び二次時間導関数及び／又はピッチ特徴を伴うメルスケールフィルターバンク係数の系列とすることができる。
【００８７】
エンドツーエンド音声認識を実行するために、キーボード４１１、ポインティングデバイス／媒体４１２を用いて、又は他のコンピュータ（図示せず）に接続されるネットワーク４９０を介して、エンドツーエンド音声認識システム４００に命令を送信することができる。システム４００は、ＨＭＩ４１０を介して命令を受信し、記憶デバイス４３０に記憶されるエンドツーエンド音声認識モジュール２００、注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２、ＣＴＣモジュール２０８及び音響特徴抽出モジュール４３４をロードすることによって、メモリ４４０に関連するプロセッサ４２０を用いてエンドツーエンド音声認識を実行するための命令を実行する。
【００８８】
評価結果
図５は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識を実行することによって得られた評価結果である。
【００８９】
この評価は、よく知られている英語のクリーン音声データベースであるウォールストリートジャーナル（ＷＳＪ）コーパスを用いて行った。トレーニング用にｓｉ２８４データセットを使用し、有効性確認用にｄｅｖ９３データセットを使用し、評価用にｅｖａｌ９２データセットを使用した。これらのデータセットは、図５Ａに要約されている。
【００９０】
入力特徴量として、ＢＬＳＴＭエンコーダのピッチ特徴量並びにそれらのデルタ特徴量及びデルタデルタ特徴量を有する８０個のメルスケールフィルターバンク係数を使用した。ＢＬＳＴＭエンコーダの前には、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）層も追加した。注意モデルには、３２個の異なるラベル、すなわち、２６個の英字トークン、アポストロフィートークン、ピリオドトークン、ダッシュトークン、空白トークン、ノイズトークン、及びｓｏｓ／ｅｏｓトークンのみを使用した。ＣＴＣモデルは、ｓｏｓ／ｅｏｓの代わりにブランクを使用し、本発明者らのＭＴＬモデルは、ｓｏｓ／ｅｏｓ及びブランクの双方を使用した。
【００９１】
さらに、このエンコーダネットワークは、ＣＮＮを用いることによって増強されている。これは、これまでの研究によって動機付けられたものである。ＣＮＮアーキテクチャの初期層に基づく６層アーキテクチャと、それに続くエンコーダネットワークにおける８つのＢＬＳＴＭ層とが使用される。このＣＮＮアーキテクチャにおいて、最初の３つの入力チャネルは、スペクトル特徴量、デルタ特徴量、及びデルタデルタ特徴量から構成される。入力音声特徴量イメージが、２つのマックスプーリング層を通じて時間周波数軸とともに（１／４×１／４）イメージにダウンサンプリングされる。ＢＬＳＴＭ層は、各層及び各方向に３２０個のセルを有し、３２０個のユニットを有する線形射影層の後に、各ＢＬＳＴＭ層が続いている。
【００９２】
ロケーションベース注意機構（location−based attention mechanism）を使用し、幅１００の１０個の中央畳み込みフィルター（centered convolution filter）を用いて、畳み込み特徴量を抽出した。デコーダは、３００個のセルを有する１層単方向ＬＳＴＭであった。
【００９３】
最適化には、勾配クリッピングを有するＡｄａＤｅｌｔａアルゴリズムを使用した。過剰信頼予測（over−confidence prediction）を回避するために、ユニグラムラベル平滑化技法も適用した。ハイブリッド注意／ＣＴＣアーキテクチャでは、トレーニングにはλ＝０．１を使用し、復号にはλ＝０．２及びγ＝１．１を使用した。ビーム幅は、全ての条件下の復号において３０に設定した。マルチレベルＬＭを有するハイブリッド注意／ＣＴＣベースＡＳＲは、Ｃｈａｉｎｅｒ深層学習ツールキットを用いることによって実施した。
【００９４】
文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭは、１．６Ｍの文からの３７Ｍの単語からなるＷＳＪテキストコーパスを用いてトレーニングした。文字レベルＬＭは、８００個のセルを有する単一のＬＳＴＭ層と３２次元ｓｏｆｔｍａｘ層とを有していた一方、単語レベルＬＭは、１０００個のセルを有する単一のＬＳＴＭ層と、ＬＭの語彙サイズに等しい２００００次元ｓｏｆｔｍａｘ層とを有していた。確率的勾配降下法（ＳＧＤ：stochastic gradient descent）を使用してＲＮＮ−ＬＭを最適化した。最初の実験は、言語モデルの寄与度を評価するものである。
【００９５】
図５Ｂは、本発明の実施形態による異なる言語モデルを用いたときの単語誤り率（ＷＥＲ）を示す。文字レベルＬＭは、サイズがＷＳＪテキストコーパスの１．８％しかないｓｉ２８４音声データのトランスクリプションをＬＭトレーニングに使用したときであっても、ＷＥＲを１３．４％から１１．５％に低減している。これは、その個別の言語モデルが予測性能に対して或る補完性効果を有することを意味する。ＷＥＲは、ＷＳＪテキストコーパスからのより多くのデータを用いることによって７．７％に低減される。次に、文字レベルを有しない単語レベルＲＮＮ−ＬＭを組み込む。
【００９６】
ここでは、単語レベルＲＮＮ−ＬＭ確率のみが、空白文字又は文末文字の全ての位置に適用された。この場合、ＷＥＲは１２．６％まで増加した。最後に、提案した方法に従って文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭの双方を使用すると、５．６％のＷＥＲに達する大幅な改善が得られた。
【００９７】
単語レベルＲＮＮ−ＬＭのみを使用したときの高いＷＥＲの理由を詳細に調べるために、５〜４０の範囲を有する異なるビーム幅を用いて追加の実験を行った。
【００９８】
図６は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識による、ビーム幅の関数としての単語誤り率を示す評価結果である。図６は、ビーム幅ごとのＷＥＲを示す。文字ＬＭを有しない場合、すなわち、ＬＭ無し又は単語ＬＭの場合、ＷＥＲは、ビーム幅とはほぼ無関係である。これは、デコーダネットワークが高い信頼度を有するラベルを予測し、より広いビームを用いてもその結果を変更しないことを意味する。その結果、各語尾において単語レベルＬＭ確率を適用することは遅過ぎるため、単語レベル情報を用いてより良好な仮説を回復することができない。本発明者らが提案した方法（単語ＬＭ＋文字ＬＭ）は、ビーム探索においてより良好な単語系列仮説を見つけるためのガイドとして文字レベルＬＭを組み合わせることによって、最も低いＷＥＲを達成する。ネットワークをトレーニングするために用いたラベル平滑化技法は、この過剰信頼問題を或る程度緩和するが、文字レベルＬＭの支援がないと、信頼度の低いラベルを回復することは困難であると考えられる。
【００９９】
２番目の実験は、提案した方法によって与えられるオープン語彙の利点を詳細に調べるものである。
【０１００】
図７は、２０Ｋ〜６５Ｋの種々の語彙サイズ及びオープン語彙条件を用いたときのＷＥＲを比較した評価結果である。ＷＥＲの比較は、制限された語彙を用いて復号中に実行される。
【０１０１】
語彙は、全ての仮説を語彙内単語のみからなるように制約するために使用されていたにすぎない。この制約は、復号中に語彙に現れる文字系列のみを許容することによって強制することができる。表に示すように、クローズド語彙（closed vocabulary：未知語を含まない語彙）を使用したとき、ＷＥＲは、オープン語彙条件における最良のＷＥＲに達しない。６５Ｋの語彙による小さなＯＯＶ比率を有する場合であっても、依然として、最良のＷＥＲに対して１．８％のギャップがある。認識結果を調べると、それらの結果にはより多くの削除誤りがあることが分かった。これは、デコーダが、語彙制約に起因して高確率を有するラベル系列を仮定することができないとき、能動的（active）仮説のスコアがより小さくなり、それゆえ、より短い仮説が結果として選択される傾向があるからであると考えられる。標準的なウォールストリートジャーナル（ＷＳＪ）タスクでは、Ｅｖａｌ’９２テストセットについて、ＳＩ２８４トレーニングセット及びＷＳＪテキストデータのみを用いて５．６％のＷＥＲが達成され、これが最良である。
【０１０２】
本開示のいくつかの実施形態において、上記のエンドツーエンド音声認識システムがコンピュータシステム内にインストールされるときに、少ない計算能力で音声認識を実効的、かつ正確に実行することができ、それゆえ、本開示のエンドツーエンド音声認識方法又はシステムを使用することにより、中央処理ユニット使用量及び電力消費量を削減することができる。
【０１０３】
さらに、本開示による実施形態は、エンドツーエンド音声認識を実行する実効的な方法を提供し、それゆえ、そのエンドツーエンド音声認識モデルを使用する方法及びシステムを使用することによって、中央処理ユニット（ＣＰＵ）使用量、電力消費量及び／又はネットワーク帯域幅使用量を削減することができる。
【０１０４】
本開示の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【０１０５】
また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせることもできるし、分散させることもできる。
【０１０６】
さらに、本開示の実施形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施形態を構築することができ、この順序は、いくつかの動作が例示の実施形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における第１、第２等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2021501376.tif 000138
【図２】
2021501376.tif 000139
【図３】
2021501376.tif 000140
【図４】
2021501376.tif 000141
【図５Ａ】
2021501376.tif 000142
【図５Ｂ】
2021501376.tif 000143
【図６】
2021501376.tif 000144
【図７】
2021501376.tif 000145
【手続補正書】
【提出日】令和2年3月25日(2020.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上のプロセッサと、
パラメータと、前記１つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールとを記憶する１つ以上の記憶デバイスであって、前記命令は、実行されると、前記１つ以上のプロセッサに動作を実行させ、前記動作は、
オーディオインターフェース又はネットワークインターフェースコントローラによって得られるオーディオ波形データから音響特徴系列を抽出することと、
エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
前記隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、
文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することであって、
先行する単語の後ろの文字が単語の終わりを示す所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれている場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭおよび前記文字レベルＬＭを使用して得られた確率の除算によって計算され、
前記先行する単語の前記後ろの文字が前記所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれていない場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭとスケーリング係数を使用して計算され、
前記先行する単語の前記後ろの文字が前記所定のラベルセットに属していない場合、前記第２の出力ラベル系列確率は、前記文字レベルＬＭを使用して計算されることによって、前記予測することと、
前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
を含む、１つ以上の記憶デバイスと、
を備える、音声認識システム。
【請求項２】
前記動作は、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１に記載の音声認識システム。
【請求項３】
前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１に記載の音声認識システム。
【請求項４】
前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、先行するラベルを受信する、請求項１に記載の音声認識システム。
【請求項５】
前記ＣＴＣは、前記第３の出力ラベル系列確率を予測する前に、先行するラベルを受信する、請求項２に記載の音声認識システム。
【請求項６】
前記エンコーダネットワークは、スタックされた双方向長短期メモリ（ＢＬＳＴＭ）と、畳み込みニューラルネットワーク（ＣＮＮ）とを含む、請求項１に記載の音声認識システム。
【請求項７】
前記デコーダネットワークはスタックされた長短期メモリ（ＬＳＴＭ）を含み、前記隠れベクトル系列に関する注意機構を用いて、前記第１の出力ラベル系列確率をそれぞれ予測する、請求項１に記載の音声認識システム。
【請求項８】
前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合するために、対数領域における線形結合が使用される、請求項１に記載の音声認識システム。
【請求項９】
前記探索することは、ビーム探索を用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項１に記載の音声認識システム。
【請求項１０】
前記ビーム探索は、最初に、前記デコーダネットワークから与えられた前記第１のラベル系列確率を用いて１組の完全なラベル系列仮説を見つけ、その後、前記１組の完全なラベル系列仮説の中から、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項９に記載の音声認識システム。
【請求項１１】
前記ビーム探索は、他の不完全なラベル系列仮説と比べて低い系列確率を有する不完全なラベル系列仮説を剪定し、前記結合された出力ラベル系列確率は、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られる、請求項９に記載の音声認識システム。
【請求項１２】
前記ＣＴＣは、前記第３の出力ラベル系列確率を予測するために、前記ＣＴＣネットワークパラメータ及び動的計画法を用いて、事後確率分布を計算する、請求項２に記載の音声認識システム。
【請求項１３】
メモリと通信するコンピュータに音声認識プロセスを実行させるプログラムを記憶する非一時的コンピュータ可読記録媒体であって、前記音声認識プロセスは、
声音を準備することと、
前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、
エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
デコーダネットワークパラメータを有するデコーダネットワークに前記隠れベクトル系列を送り込むことによって、第１の出力ラベル系列確率を予測することと、
文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することであって、
先行する単語の後ろの文字が単語の終わりを示す所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれている場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭおよび前記文字レベルＬＭを使用して得られた確率の除算によって計算され、
前記先行する単語の前記後ろの文字が前記所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれていない場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭとスケーリング係数を使用して計算され、
前記先行する単語の前記後ろの文字が前記所定のラベルセットに属していない場合、前記第２の出力ラベル系列確率は、前記文字レベルＬＭを使用して計算されることによって、前記予測することと、
前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
を含む、非一時的コンピュータ可読記録媒体。
【請求項１４】
前記音声認識プロセスは、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１３に記載の媒体。
【請求項１５】
前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１３に記載の媒体。
【請求項１６】
前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、先行するラベルを受け取る、請求項１３に記載の媒体。
【請求項１７】
前記ＣＴＣは、前記第３の出力ラベル系列確率を予測する前に、先行するラベルを受け取る、請求項１４に記載の媒体。
【国際調査報告】
2021501376.tif 000146
2021501376.tif 000147
2021501376.tif 000148
2021501376.tif 000149
2021501376.tif 000150