長短期記憶

長短期記憶係一種能夠記住長期記憶嘅遞迴神經網絡：一般嘅遞迴網絡曉處理連串性嘅資訊，例如係用自然語言寫嘅句子噉，但現實世界嘅解難好多時都要求一個個體能夠睇得出時間上差距大嘅因同果，例如要完全了解一個故仔嘅結局，可能要諗返起故仔開頭嘅情節。事實證明咗，普通嘅遞迴神經網絡好多時都難以應付呢啲問題。

LSTM 網絡特徵係內置一啲閘控神經細胞，呢啲特殊嘅人工神經細胞有「閘」，曉決定要儲起乜嘢資訊同埋幾時讀取、寫入、或者刪除資訊：喺 LSTM 網絡嘅碼當中，會有演算法幫閘控細胞決定幾時要改變自身嘅啟動程度；相比之下，一般嘅遞迴神經網絡冇能力控制現存嘅過去資訊會唔會喺新資訊嚟到嗰陣被替換。呢個特點令到 LSTM 網絡有能力儲資訊儲好耐，而且有能力由輸入嘅數值當中搵出時間上相距不定嘅因同果。研究表明咗，LSTM 網絡可以用嚟教電腦做一啲要求長期記憶嘅作業，例如係閱讀理解呀噉。

結構

基本LSTM 

上圖係一幅示意圖顯示到LSTM個記憶單位嘅。隻單位主要由條流水線即狀態路同埋控制路組成。狀態路表示細胞  嘸同時間啲狀態嘅訊息流動同埋狀態嘅輸出；控制路表示舊輸出值佮新輸入值對流水線嘅控制。從左到右三副即表示控制到相關嘢嘅遺忘閘、輸入閘、輸出閘。呢三道閘當中每一道都可以當係一粒子細胞噉嚟睇，有各自嘅啟動程度值，會受到往時輸出 同埋噉時輸入 影響，決定自身嘅啟動程度，再按自身嘅啟動程度睇吓要做啲乜嘢畀條流水線：
遺忘閘：查實係「袂忘閘」，相當於喺近0時閘住上一時狀態嚟忘唨佢，近1時開閘嚟保持；0~1之間就睇程度要保持到乜程度。
輸入閘：查實係「記埋閘」，決定係咪要寫入或者話記埋個新狀態變化同埋要記到乜程度。
輸出閘：即決定係咪要輸出同埋要輸出到乜程度。

其中，非閘控值亦即係寫入值 、輸出狀態值 係由tanh 函數得出。寫入值係舊輸出 佮新輸入 攞權重乘埋再挃落 函數得到；輸出狀態值係新狀態 攞權重乘埋再挃落 tanh函數得到。

所有啲公式可以噉表示：

或者更加常見嘅係，捉舊輸入 、新輸入 錔喺一齊再攞權重乘埋：

貓眼 LSTM 

喺進一步嘅貓眼 LSTM 當中，都係攞細胞狀態去代表，相當於幫單元加有「貓眼」去睇返上一次嘅狀態 並佮埋新輸入  做計算。貓眼 LSTM 當中，變到 係嘸經過 函數，即。所以總嘅啲公式係：

遞迴神經網絡
長期記憶
機械翻譯

攷 

人工神經網絡