Apa manfaat menggunakan fungsi aktivasi ReLU dibandingkan fungsi sigmoid klasik dalam jaringan saraf?

1. Gradien menghilang masalah: Nilai maksimum turunan fungsi sigmoid adalah 0,25, yang dapat mengakibatkan total gradien menjadi sangat kecil selama propagasi kembali. Sebaliknya ReLU memiliki gradien konstan 1 untuk input positif. 2. efisiensi Perhitungan: ReLU dapat dihitung menggunakan max ((0, x), lebih efisien daripada operasi eksponensial dalam fungsi sigmoid. 3. kecepatan konvergensi: juga dilaporkan bahwa menggunakan ReLU sebagai fungsi aktivasi dalam jaringan saraf konvergen lebih cepat daripada menggunakan fungsi sigmoid.