ปัญหาความชันอันตรธาน
ปัญหาความชันอันตรธาน (vanishing gradient problem) คือปัญหาที่พบในการเรียนรู้ของเครื่องเมื่อทำการฝึกโครงข่ายประสาทเทียมโดยใช้ การเคลื่อนลงตามความชัน และ การแพร่กระจายย้อนกลับ นี่เป็นปัญหาที่ค่าความชันที่ต้องการมีขนาดเล็กมากจนทำให้การเรียนรู้ไม่คืบหน้า[1]
สำหรับในกรณีของโครงข่ายประสาทแบบเวียนซ้ำ ได้มีการนำโครงสร้างที่เรียกว่าหน่วยความจำระยะสั้นแบบยาว (LSTM) มาใช้เพื่อแก้ปัญหานี้ ในขณะที่โครงสร้างที่เรียกว่า ResNet ได้ถูกนำมาใช้ในโครงข่ายการเรียนรู้เชิงลึก
นอกจากนี้แล้ว ในทางกลับกันบางครั้งความชันของฟังก์ชันกระตุ้นก็อาจได้ค่ามากและทำให้เกิดการแจกแจงออกเกินไป ปัญหาดังกล่าวเรียกว่า ปัญหาความชันระเบิด (exploding gradient problem)
อ้างอิง
[แก้]- ↑ Okatani, Takayuki (2015). "On Deep Learning". Journal of the Robotics Society of Japan. 33 (2): 92–96. doi:10.7210/jrsj.33.92. ISSN 0289-1824.