PEPITA의 성능을 향상시키기 위해 고려할 수 있는 추가적인 기법은 다음과 같습니다:
가중치 감쇠(Weight Decay): 가중치 감쇠를 적용하여 모델의 복잡도를 줄이고 오버피팅을 방지할 수 있습니다.
활성화 정규화(Activation Normalization): 활성화 함수를 정규화하여 학습 안정성을 향상시키고 수렴 속도를 높일 수 있습니다.
가중치 미러링(Weight Mirroring): 가중치 미러링을 통해 피드백 가중치와 피드포워드 가중치 간의 정렬을 개선하여 모델의 정확도를 향상시킬 수 있습니다.
이러한 추가 기법을 적용하여 PEPITA의 성능을 향상시킬 수 있으며, BP와의 성능 차이를 줄일 수 있습니다.