Bộ nhớ dài-ngắn hạn

Bộ nhớ dài-ngắn hạnMạng neural hồi quy cheatsheet, Standford University. hay Bộ nhớ ngắn-dài hạn (tiếng Anh: Long short-term memory, viết tắt LSTM) là một mạng thần kinh hồi quy (RNN) nhân tạo được sử dụng trong lĩnh vực học sâu. Không giống như các mạng thần kinh truyền thẳng (FNN) tiêu chuẩn, LSTM có chứa các kết nối phản hồi. Mạng không chỉ xử lý các điểm dữ liệu đơn lẻ (như các hình ảnh), mà còn xử lý toàn bộ chuỗi dữ liệu (chẳng hạn như lời nói hoặc video). Ví dụ, LSTM có thể áp dụng cho các tác vụ nhận dạng chữ viết tay, nhận dạng tiếng nói và phát hiện bất thường có tính chất kết nối, không phân đoạn trong giao thông mạng hoặc các IDS (hệ thống phát hiện xâm nhập).

Một đơn vị LSTM thông thường bao gồm một tế bào (cell), một cổng vào (input gate), một cổng ra (output gate) và một cổng quên (forget gate). Tế bào ghi nhớ các giá trị trong các khoảng thời gian bất ý và ba cổng sẽ điều chỉnh luồng thông tin ra/vào tế bào.

 Các ứng dụng 
Các ứng dụng sử dụng LSTM bao gồm:
Quản lý robot
Dự đoán chuỗi thời gian
Nhận dạng tiếng nói
 Học giai điệu (nhịp điệu)
Học ngữ pháp
Nhận dạng chữ viết tayA. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, pp 545–552, Vancouver, MIT Press, 2009.
Nhận dạng hành động của con ngườiM. Baccouche, F. Mamalet, C Wolf, C. Garcia, A. Baskurt. Sequential Deep Learning for Human Action Recognition. 2nd International Workshop on Human Behavior Understanding (HBU), A.A. Salah, B. Lepri ed. Amsterdam, Netherlands. pp. 29–39. Lecture Notes in Computer Science 7065. Springer. 2011
Ngôn ngữ ký hiệu
Phát hiện tương đồng protein
Dự đoán vị trí dưới tế bào của protein
Phát hiện chuỗi thời gian bất thường
Một số tác vụ dự đoán trong lĩnh vực quản lý quy trình kinh doanh
 Dự đoán trong các lộ trình chăm sóc y tế
Phân tích ngữ nghĩa
Đồng phân đoạn đối tượng
 Quản lý hành khách sân bay
 Dự báo giao thông vận tải ngắn hạn
 Thiết kế thuốc

 Xem thêm 
 Mạng thần kinh hồi quy
 Học sâu
 Gated recurrent unit (đơn vị tái phát có cổng, đơn vị hồi quy có kiểm soát)
 Máy tính thần kinh khả vi (differentiable neural computer)
 Điện thế hóa dài hạn
 Bộ nhớ hoạt động hạch nền vỏ não trước trán (prefrontal cortex basal ganglia working memory)
 Chuỗi thời gian
 Seq2seq
 Mạng cao tốc (highway network)

 Tham khảo 

 Liên kết ngoài 
Recurrent Neural Networks with over 30 LSTM papers by Jürgen Schmidhuber's group at Dalle Molle Institute for Artificial Intelligence Research



 original  with two chapters devoted to explaining recurrent neural networks, especially LSTM.



 Analyze the equation and build your own custom LSTM cell in Python. Tutorial

Thể loại:Mạng thần kinh nhân tạo
Thể loại:Học sâu