ปัญหาความชันอันตรธาน

ปัญหาความชันอันตรธาน (vanishing gradient problem) คือปัญหาที่พบในการเรียนรู้ของเครื่องเมื่อทำการฝึกโครงข่ายประสาทเทียมโดยใช้ การเคลื่อนลงตามความชัน และ การแพร่กระจายย้อนกลับ นี่เป็นปัญหาที่ค่าความชันที่ต้องการมีขนาดเล็กมากจนทำให้การเรียนรู้ไม่คืบหน้า

สำหรับในกรณีของโครงข่ายประสาทแบบเวียนซ้ำ ได้มีการนำโครงสร้างที่เรียกว่าหน่วยความจำระยะสั้นแบบยาว (LSTM) มาใช้เพื่อแก้ปัญหานี้ ในขณะที่โครงสร้างที่เรียกว่า ResNet ได้ถูกนำมาใช้ในโครงข่ายการเรียนรู้เชิงลึก

นอกจากนี้แล้ว ในทางกลับกันบางครั้งความชันของฟังก์ชันกระตุ้นก็อาจได้ค่ามากและทำให้เกิดการแจกแจงออกเกินไป ปัญหาดังกล่าวเรียกว่า ปัญหาความชันระเบิด (exploding gradient problem)

 อ้างอิง 

หมวดหมู่:วิธีความชัน
หมวดหมู่:การเรียนรู้ของเครื่อง