長・短期記憶

長・短期記憶は、深層学習の分野において用いられる人工回帰型ニューラルネットワークアーキテクチャである。標準的な順伝播型ニューラルネットワークとは異なり、LSTMは自身を「汎用計算機」にするフィードバック結合を有する。LSTMは単一のデータ点だけでなく、全データ配列を処理できる。例えば、LSTMは分割されていない、つながった手書き文字認識や音声認識といった課題に適用可能である。ブルームバーグ ビジネスウィーク誌は「これらの力がLSTMを、病気の予測から作曲まで全てに使われる、ほぼ間違いなく最も商業的なAIの成果としている」と書いた。

一般的なLSTMユニットは、記憶セル、入力ゲート、出力ゲート、および忘却ゲートから構成される。記憶セルは任意の時間間隔にわたって値を記憶し、3つの「ゲート」は記憶セルを出入りする情報の流れを制御する。

LSTMネットワークは時系列データに基づく分類、電子データ処理、予測によく適している。これは、LSTMネットワークが時系列中の重要な事象間の未知の期間の時間差となることができるためである。LSTMは、従来のRNNを訓練する際に遭遇しうる勾配爆発および消失問題に対処するために開発された。ギャップの長さに対する相対的な鈍感さが、多数の応用におけるRNNや隠れマルコフモデル、その他の系列学習法に対するLSTMの優位性であるdate=October 2017}}。

LSTMは2010年代まで主流の地位にあったが、2017年以降は更に高性能なTransformerという基盤モデルに取って代わられていった。

1. 歴史
-----

LSTMは1997年にゼップ・ホッフライターとユルゲン・シュミットフーバーによって提唱された。Constant Error Carouselユニットの導入によって、LSTMは勾配爆発および消失問題を解決しようとする。LSTMブロックの最初の型はセル、入力ゲート、および出力ゲートを含んでいた。

1999年、フェリックス・ゲルスと彼のアドバイザーのユルゲン・シュミットフーバーとFred CumminsはLSTMアーキテクチャへ忘却ゲートを導入した。これはLSTMが自身の状態をリセットすることを可能にする。2000年、 ゲルス、シュミットフーバー、CumminsはLSTMアーキテクチャへ覗き穴結合を追加した。加えて、出力活性化関数は削除された。

2014年、Kyunghyun Choらはゲート付き回帰型ユニットと呼ばれる単純化した変異型を提案した 。

その他の成功の中で、LSTMは自然言語テキスト圧縮と分割されていないつながった手書き文字認識で新記録を達成し、文書画像の解析・認識に関する国際会議手書き文字認識大会で優勝した。LSTMネットワークは2013年に、古典的な TIMIT自然音声データセットで新記録となる音素誤り率17.7%を達成したネットワークの主要な構成要素であった。

2016年時点で、Google、Apple、マイクロソフトを含む主要なテクノロジー企業は新製品の基本要素としてLSTMを使用していた。例えば、Googleはスマートフォン上での音声認識、スマートアシスタントAllo、およびGoogle翻訳のためにLSTMを使用した。AppleはiPhone上の「Quicktype」機能、SiriのためにLSTMを使用する。AmazonはAmazon AlexaのためにLSTMを使用する。

2017年、FacebookはLSTMネットワークを使用して毎日45億回の自動翻訳を実行した。

2017年、ミシガン州立大学、IBM基礎研究所、コーネル大学の研究者らは、Knowledge Discovery and Data Mining会議において研究発表を行った。彼らの研究は、広く使われるLSTMニューラルネットワークよりも特定のデータセットに対して優れた性能を示す新規ニューラルネットワークに関するものである。

さらに2017年、マイクロソフトは16万5千語の語彙を含むSwitchboardコーパスにおいて95.1%の認識精度に達したと報告した。この手法は「対話セッションに基づく長・短期記憶」を使用した。

2. 着想
-----

理論的には、古典的なRNNは入力配列における任意の長期依存性を追跡できる。バニラRNNの問題は本質的に計算的なものである。誤差逆伝播法を使ってバニラRNNを訓練する時、逆伝播される勾配は「消失」あるいは「爆発」しうる。これは、計算が丸め誤差を用いる過程を含むためである。LSTMユニットを用いるRNNは、LSTMユニットが勾配を「不変」のまま流れることも可能とするため、勾配消失問題を部分的に解決する。しかしながら、LSTMネットワークは勾配爆発問題にはまだ悩まされうる。

3. アーキテクチャ
----------

複数のLSTMユニットのアーキテクチャが存在する。一般的なアーキテクチャは、セルと大抵ゲートと呼ばれるLSTMユニット内部の情報の流れの3つの「調整器」から構成される。LSTMユニットの一部の変異型はこれらのゲートの1つ以上を持たない、あるいは別のゲートを持つこともある。例えばゲート付き回帰型ユニットは出力ゲートを持たない。

直感的には、「セル」は入力配列中の要素間の依存性を追跡するために必要である。「入力ゲート」はセルへの新たな値の流れの度合いを制御し、「忘却ゲート」はセル中に値が留まる度合いを制御し、「出力ゲート」はセル中の値がLSTMユニットの出力活性化を計算するために使われる度合いを制御する。LSTM「ゲート」の活性化関数にはロジスティック関数が使われることが多い。

LSTMゲートへの、そしてLSTMからの結合が存在し、そのうちいくつかは回帰結合している。訓練中に学習される必要があるこれらの結合の重みが、ゲートがどのように動作するかを決定する。

4. 変異型
------

以下の方程式において、小文字の変数はベクトルを表わす。行列およびはそれぞれ入力および回帰結合の重みを含み、添字は、計算される活性化に依存して、入力ゲート、出力ゲート、忘却ゲート、または記憶セルになりうる。この節では、ゆえに「ベクトル表記」を使用する。そのため、例えば、は単に1つのLSTMユニットの1つのセルではなく、個のLSTMユニットのセルを含む。演算子はアダマール積を示す。

4.1. 忘却ゲートを持つLSTM
-----------------

忘却ゲートを持つLSTMユニットの順方向通路のための方程式のコンパクト形は以下の通りである。

上式において、初期値はおよび、を示す。添字は時間ステップにインデックスを付ける。

4.1.1. 変数
---------

: LSTMユニットへの入力ベクトル
: 忘却ゲートの活性化ベクトル
: 入力ゲートの活性化ベクトル
: 出力ゲートの活性化ベクトル
: LSTMユニットの出力ゲートとも呼ばれる隠れ状態ベクトル
: セル状態ベクトル
、、: 訓練中に学習される必要がある重み行列およびバイアスベクトルのパラメータ上付き文字およびはそれぞれ入力要素の数および隠れユニットの数を示す。

4.1.2. 活性化関数
------------

: シグモイド関数
: 双曲線正接関数
: 双曲線正接関数または、覗き穴LSTMの論文が提案しているように重み行列と活性化関数を集約することで

となる。この式から が直接回帰し、がゲート・セルを通じて回帰していることがわかる。また入力と重みの積は時間を跨いで回帰無しに計算できることがわかる。

4.2. 覗き穴LSTM
------------

右図は覗き穴結合を持つLSTMユニットの図式的な表現である。覗き穴結合によって、ゲートが定誤差カルーセルへアクセスすることが可能となる。は使われず、ほんどの場所でが代わりに使われる。

4.3. 覗き穴畳み込みLSTM
----------------

覗き穴畳み込みLSTM。は畳み込み演算子を示す。

5. 訓練
-----

LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり方で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するための通時的誤差逆伝播法と組み合わせて最急降下法のような最適化アルゴリズムを使って、誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。

標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、のスペクトル半径が1よりも小さいととなるためである。

しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。

5.1. CTCスコア関数
-------------

多くの応用がLSTM RNNのスタックを使用し、訓練セット中のラベル配列の確率を最大化する重み行列を探すために、それらをコネクショニスト時系列分類によって訓練する。CTCはアラインメントと認識の両方を達成する。

5.2. 代替手段
---------

特に「教師」が存在しない時は、Neuroevolutionまたは⽅策勾配法によってLSTMを訓練するのが有利なことがありうる。

5.2.1. 成功
---------

LSTMユニットを持つRNNを教師なしで訓練した複数の成功例がある。

2018年、ビル・ゲイツは、OpenAIによって開発されたボットがゲームDota 2で人間を破ることができた時、これを「人工知能の進歩における巨大な一里塚」と呼んだ。OpenAI Fiveは5つの独立した、しかし協調したニューラルネットワークから成る。個々のネットワークは教師なしで方策勾配法によって訓練され、現在のゲーム状態を見て、複数の可能な動作から動作を出す単層の1024ユニットLSTMを含む 。

2018年、OpenAIはかつてないほどの器用さで物体を巧みに扱う人間のようなロボットハンドを制御するために方策勾配法によって同様のLSTMを訓練した。

2019年、DeepMindのプログラムAlphaStarは複雑なビデオゲームスタークラフトに秀でるためにディープなLSTMコアを使用した。これは、人工汎用知能へ向けた重要な前進と見なされた。

6. 特性
-----

6.1. 記憶力
--------

単純RNNと比較してより長い系列の情報を保持する能力を持つ。一方、長期記憶を評価するCopyingタスクでは系列長200以上での学習に失敗することが知られている。

7. 応用
-----

LSTMの応用には以下の事柄が含まれる。

ロボット制御
時系列予想
音声認識
リズム学習
作曲
文法学習
手書き文字認識
人物行動認識
手話学習
タンパク質相同性検出
タンパク質の細胞内局在の予測
時系列異常検出
ビジネスプロセス管理の分野におけるいくつかの予測課題
医療パスにおける予測
意味的構文解析
被写体共セグメンテーション

8. 出典
-----

9. 関連項目
-------

回帰型ニューラルネットワーク
ディープラーニング
ゲート付き回帰型ユニット
長期増強
時系列

10. 外部リンク
---------

[1] with over 30 LSTM papers by Jürgen Schmidhuber's group at IDSIA
[2] with two chapters devoted to explaining recurrent neural networks, especially LSTM.
guillaume-chevalier/LSTM-Human-Activity-Recognition