Jürgen Schmidhuber提出LSTM。版本包含了cells, input以及output gates。2014年，Kyunghyun Cho et al.发明了（GRU）。2016年，谷歌用LSTM进行谷歌翻译。 苹果公司、微软和亚马逊公司也用LSTM生产产品，例如：iPhone、Amazon Alexa、等。中国公司也正在用LSTM。
结构.LSTM是一种含有LSTM区块（blocks）或其他的一种类神经网路，文献或其他资料中LSTM区块可能被描述成智慧型网路