Secretary Bird Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi

## Çalışma prensibi

**Secretary Bird Optimizasyon Algoritması** (**SBOA**), popülasyon tabanlı bir meta-sezgisel optimizasyon algoritmasıdır. Algoritma, sekreter kuşunun av arama, takip etme, saldırma, kaçma ve kamuflaj davranışlarından esinlenerek geliştirilmiştir. SBOA genel olarak iki ana aşamada çalışır: *keşif* (exploration) ve *sömürü* (exploitation).

Bu yaklaşımın yapay sinir ağlarının eğitimine uygulanması durumunda, ağın ağırlık ve bias parametreleri bir çözüm vektörü olarak kodlanır ve amaç, hata fonksiyonunu en aza indiren parametre kümesini bulmaktır.

### MLP'nin matematiksel yapısı

Tek gizli katmanlı bir çok katmanlı algılayıcıda (MLP), gizli katmandaki j. nöronun net girdisi şu şekilde tanımlanır:


h_j = \sum_{i=1}^{n} w_{ij} x_i + b_j


Burada x_i giriş değişkenlerini, w_{ij} giriş katmanından gizli katmana olan ağırlıkları, b_j ise gizli katman bias terimini gösterir.

Gizli katman çıkışı sigmoid aktivasyon fonksiyonu ile elde edilir:


H_j = \frac{1}{1 + e^{-h_j}}


Çıkış katmanındaki k. nöron için net girdi:


o_k = \sum_{j=1}^{h} w_{jk} H_j + B_k


ve buna karşılık gelen çıktı değeri:


O_k = \frac{1}{1 + e^{-o_k}}


şeklindedir.

### SBOA'nın başlangıç aşaması

SBOA'da her aday çözüm, arama uzayındaki bir birey olarak temsil edilir. Başlangıç popülasyonu, alt ve üst sınırlar arasında rastgele oluşturulur:


X_{i,j} = lb_j + r \cdot (ub_j - lb_j)


Burada N popülasyon büyüklüğünü, Dim problem boyutunu, lb_j ve ub_j ise ilgili değişkenin alt ve üst sınırlarını ifade eder.

### Keşif aşaması

Keşif aşaması, sekreter kuşunun avı arama ve etkisiz hale getirme davranışlarını temsil eder. Bu aşamada çözüm güncellemesi üç farklı strateji ile modellenebilir:


x^{new1}_{i,j} =
\begin{cases}
x_{i,j} + r_1 (x_{r1} - x_{r2}), & t 

Burada x_{best} o ana kadar elde edilen en iyi çözümü, T maksimum iterasyon sayısını, t mevcut iterasyonu, RB rastgele bir sayıyı ve RL ise Lévy uçuş terimini gösterir.

Yeni çözüm yalnızca daha iyi sonuç verirse kabul edilir:


X_i =
\begin{cases}
X_i^{new1}, & F_i^{new1} 

Lévy uçuşu şu şekilde tanımlanır:


RL = 0.5 \cdot Levy(Dim)



Levy(Dim) = 0.01 \cdot \frac{u \sigma}{|v|^{1/\eta}}



\sigma = \frac{\Gamma(1+\eta)\sin(\pi \eta / 2)}
{\Gamma((1+\eta)/2)\,\eta\,2^{(\eta-1)/2}}


Burada genellikle \eta = 1.5 alınır.

### Sömürü aşaması

Sömürü aşaması, sekreter kuşunun tehditlerden kaçma ve çevreye uyum sağlama davranışlarını temsil eder. Bu aşamada çözüm güncellemesi şu şekilde ifade edilir:


x^{new2}_{i,j} =
\begin{cases}
x_{best} + (2RB - 1)\left(1 - \frac{t}{T}\right)^2 x_{i,j}, & q 

Burada x_{random} rastgele seçilen bir çözümü, K ise rastgele belirlenen bir tamsayıyı temsil eder:


K = \operatorname{round}(1 + \operatorname{rand}(1,1))


Yeni çözüm yine yalnızca daha iyi ise kabul edilir:


X_i =
\begin{cases}
X_i^{new2}, & F_i^{new2} 

### MLP'nin SBOA ile eğitilmesi

MLP'nin SBOA ile eğitilmesinde tüm ağ parametreleri tek bir çözüm vektöründe birleştirilir:


Vector = (w_{ij} \cup w_{jk} \cup b_j \cup B_k)


Burada çözüm vektörü, giriş-gizli katman ağırlıkları, gizli-çıkış katmanı ağırlıkları ve bias terimlerinden oluşur.

Aday çözümün başarımı genellikle ortalama karesel hata (MSE) ile ölçülür:


MSE = \frac{1}{U} \sum_{u=1}^{U} (y_u - \hat{y}_u)^2


Böylece optimizasyon problemi şu şekilde yazılır:


\min F(\vec{V}) = MSE


Bu çerçevede SBOA, MLP'nin ağırlık ve bias değerlerini iteratif olarak güncelleyerek hata değerini azaltmaya çalışır.

## Kaynakça