長・短期記憶
単純RNNと比較してより長い系列の情報を保持する能力を持つ。一方、長期記憶を評価するCopyingタスクでは系列長200以上での学習に失敗することが知られている。
LSTMネットワークは2013年に、古典的な TIMIT(英語版)自然音声データセットで新記録となる音素誤り率17.7%を達成したネットワークの主要な構成要素であった。
2016年時点で、Google、Apple、マイクロソフトを含む主要なテクノロジー企業は新製品の基本要素としてLSTMを使用していた。例えば、Googleはスマートフォン上での音声認識、スマートアシスタントAllo、およびGoogle翻訳のためにLSTMを使用した。AppleはiPhone上の「Quicktype」機能、SiriのためにLSTMを使用する。AmazonはAmazon AlexaのためにLSTMを使用する。
2017年、FacebookはLSTMネットワークを使用して毎日45億回の自動翻訳を実行した。
2017年、ミシガン州立大学、IBM基礎研究所、コーネル大学の研究者らは、Knowledge Discovery and Data Mining(KDD)会議において研究発表を行った。彼らの研究は、広く使われるLSTMニューラルネットワークよりも特定のデータセットに対して優れた性能を示す新規ニューラルネットワークに関するものである。
さらに2017年、マイクロソフトは16万5千語の語彙を含むSwitchboardコーパスにおいて95.1%の認識精度に達したと報告した。この手法は「対話セッションに基づく長・短期記憶」を使用した。