Karcı kesir dereceli yapay sinir ağı (KarcıFANN): öğrenme oranı, aşırı uyum ve yetersiz uyum sorunlarını çözme
Karcı kesir dereceli yapay sinir ağı (KarcıFANN): öğrenme oranı, aşırı uyum ve yetersiz uyum sorunlarını çözme
Yazar: Saygili, Hulya; Karakurt, Meral; Karci, Ali
Dergi: Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Vol. 40 No. 4, 2024
Anahtar kelimeler: Neural Networks ; Nöral Ağlar ; Artificial Intelligence (Other) ; Yapay Zeka (Diğer) ; Yapay sinir ağları,stokastik gradyan iniş,öğrenme oranı,Karcı kesir dereceli yapay sinir ağı,kesir dereceli türev

Yapay sinir ağlarının (YSA) başarımı hiper parametrelerin seçiminden etkilenmektedir. Öğrenme katsayısı, bu başarımı önemli ölçüde etkileyen bir hiper parametredir. Farklı modeller ve veri kümeleri ile optimum başarıyı elde etmek için doğru bir öğrenme katsayısının seçilmesi zor ve zaman alıcı bir süreçtir. Uygun olmayan öğrenme katsayısı, ağın öğrenememe, ezberleme, gradyan patlaması ve kaybolması gibi sorunlara neden olabilir. Bu makalede önerilen Karcı Kesir Dereceli Yapay Sinir Ağı (KarcıFANN) yönteminde, Stokastik gradyan iniş (SGD) yönteminin kullanıldığı Klasik YSA’lardaki sabit bir sayı olan öğrenme katsayısı yerine kesir dereceli türevden faydalanılarak ağırlık güncelleme işlemi yapılmaktadır. Böylece KarcıFANN yönteminde, her iterasyonda elde edilen hata değerine göre değişen bir kesir dereceli türev kullanılarak ve bu sayede ağa dışarıdan müdahale minimuma indirilerek literatüre katkıda bulunulacaktır. Çalışmada, Kuzushiji_MNIST, GinaPrior2 ve SignMnist veri setlerini sınıflandırmak amacıyla aynı başlangıç ve parametre değerlerine sahip Klasik YSA ve KarcıFANN yöntemleri kullanılarak sonuçları karşılaştırılmıştır. Kesir dereceli türevin kesir derecesi olan alfa parametresine ve Klasik YSA’da öğrenme katsayısına 0.1-5.0 aralığında değerler verilerek yapılan deneysel çalışmalarda, KarcıFANN yönteminin Kuzushiji-Mnist ve gina_prior2 veri setlerinin sınıflandırılmasında özellikle 3.0-5.0 arasında Klasik YSA’dan daha iyi performans gösterdiği gözlemlenmiştir.  Klasik YSA’da karşılaşılan ezberleme ve öğrenememe problemlerinin KarcıFANN yönteminde giderildiği görülmüştür. Ayrıca, KarcıFANN yönteminin genelleştirilebildiği, birden çok veri setinde çalıştırılarak deneyimlenmiştir.

Yapay sinir ağlarının (YSA) başarımı hiper parametrelerin seçiminden etkilenmektedir. Öğrenme katsayısı, bu başarımı önemli ölçüde etkileyen bir hiper parametredir. Farklı modeller ve veri kümeleri ile optimum başarıyı elde etmek için doğru bir öğrenme katsayısının seçilmesi zor ve zaman alıcı bir süreçtir. Uygun olmayan öğrenme katsayısı, ağın öğrenememe, ezberleme, gradyan patlaması ve kaybolması gibi sorunlara neden olabilir. Bu makalede önerilen Karcı Kesir Dereceli Yapay Sinir Ağı (KarcıFANN) yönteminde, Stokastik gradyan iniş (SGD) yönteminin kullanıldığı Klasik YSA’lardaki sabit bir sayı olan öğrenme katsayısı yerine kesir dereceli türevden faydalanılarak ağırlık güncelleme işlemi yapılmaktadır. Böylece KarcıFANN yönteminde, her iterasyonda elde edilen hata değerine göre değişen bir kesir dereceli türev kullanılarak ve bu sayede ağa dışarıdan müdahale minimuma indirilerek literatüre katkıda bulunulacaktır. Çalışmada, Kuzushiji_MNIST, GinaPrior2 ve SignMnist veri setlerini sınıflandırmak amacıyla aynı başlangıç ve parametre değerlerine sahip Klasik YSA ve KarcıFANN yöntemleri kullanılarak sonuçları karşılaştırılmıştır. Kesir dereceli türevin kesir derecesi olan alfa parametresine ve Klasik YSA’da öğrenme katsayısına 0.1-5.0 aralığında değerler verilerek yapılan deneysel çalışmalarda, KarcıFANN yönteminin Kuzushiji-Mnist ve gina_prior2 veri setlerinin sınıflandırılmasında özellikle 3.0-5.0 arasında Klasik YSA’dan daha iyi performans gösterdiği gözlemlenmiştir.  Klasik YSA’da karşılaşılan ezberleme ve öğrenememe problemlerinin KarcıFANN yönteminde giderildiği görülmüştür. Ayrıca, KarcıFANN yönteminin genelleştirilebildiği, birden çok veri setinde çalıştırılarak deneyimlenmiştir.