완전 연결 베이지안 신경망의 성능을 향상시킬 수 있는 다른 활성화 함수는 무엇이 있을까?
완전 연결 베이지안 신경망의 성능을 향상시킬 수 있는 다른 활성화 함수로는 Leaky-ReLU(Leaky Rectified Linear Unit)가 있습니다. Leaky-ReLU는 ReLU(Rectified Linear Unit)의 한 변종으로, 음수 입력에 대해 작은 양수 기울기를 허용하여 학습 중에 뉴런이 죽는 문제를 완화시킵니다. 이를 통해 DNN의 성능을 향상시키고 다양한 작업에서 더 효율적인 학습을 가능케 합니다.