Oja kuralı

Oja'nın öğrenme kuralı veya basitçe Fin bilgisayar bilimcisi Erkki Oja'nın adını taşıyan Oja kuralı, beyindeki veya yapay sinir ağlarındaki nöronların zaman içinde bağlantı gücünü nasıl değiştirdiğine veya öğrendiğine dair bir modeldir. Çarpımsal normalleştirme yoluyla, tüm kararlılık problemlerini çözen ve temel bileşen analizi için bir algoritma oluşturan, standart Hebb Kuralının (bkz. Hebbian öğrenimi) değişik bir tanımıdır. Bu, biyolojik nöronlarda meydana geldiğine inanılan bir etkinin hesaplamalı bir şeklidir. == Teori == Oja'nın kuralı türetmek için bir dizi basitleştirme gerektirir, ancak son haliyle Hebb'in kuralının aksine, kanıtlanabilir şekilde kararlıdır. Genelleştirilmiş Hebbian Algoritmasının tek nöronlu özel bir durumudur. Bununla birlikte, Oja'nın kuralı, değişen derecelerde istikrar ve başarıya başka şekillerde de genelleştirilebilir. === Formül === Basitleştirilmiş bir nöron modelini düşünün y bu olsun, girdilerinin lineer bir kombinasyonunu, presinaptik ağırlıkları kullanarak verir: \,y(\mathbf{x}) ~ = ~ \sum_{j=1}^m x_j w_j Oja kuralı, çıktı yanıtı verildiğinde presinaptik ağırlıklardaki değişikliği ' yi tanımlar. y bir nöronun girişleri olmak üzere: : \,\Delta \mathbf{w} ~ = ~ \mathbf{w}_{n+1}-\mathbf{w}_{n} ~ = ~ \eta \, y_{n} (\mathbf{x}_{n} - y_{n}\mathbf{w}_{n}), , zamanla da değişebilen öğrenme oranıdır. Kalın sembollerin vektörler olduğunu ve ayrı bir zaman yinelemesini tanımladığını unutmayın. Kural ayrıca sürekli yinelemeler için de yapılabilir. : \,\frac{d\mathbf{w}}{d t} ~ = ~ \eta \, y(t) (\mathbf{x}(t) - y(t)\mathbf{w}(t)). === Türetme === Bilinen en basit öğrenme kuralı, birlikte ateşleyen nöronların birbirine bağlandığını kavramsal terimlerle ifade eden Hebb kuralıdır. Bileşen formunda bir fark denklemi olarak yazılır: : \,\Delta\mathbf{w} ~ = ~ \eta\, y(\mathbf{x}_n) \mathbf{x}_{n} , veya örtük bağımlılıkla skaler formda, : \,w_{i}(n+1) ~ = ~ w_{i} + \eta\, y(\mathbf{x}) x_{i} , burada yine çıktıdır, bu sefer açıkça girdi vektörü 'dir. Hebb kuralı, pozitif bir öğrenme oranıyla sonsuza yaklaşan sinaptik ağırlıklara sahiptir. Bunu, ağırlıkları normalleştirerek durdurabiliriz, böylece her bir ağırlığın büyüklüğü, ağırlıksıza karşılık gelen 0 ile herhangi bir ağırlığa sahip tek giriş nöronuna karşılık gelen 1 arasında sınırlandırılır. Bunu, ağırlık vektörünü bir uzunlukta olacak şekilde normalleştirerek yaparız: : \,w_i (n+1) ~ = ~ \frac{w_i + \eta\, y(\mathbf{x}) x_i}{\left(\sum_{j=1}^m [w_j + \eta\, y(\mathbf{x}) x_j]^p \right)^{1/p}} . Oja'nın orijinal makalesinde, olarak bilinen Kartezyen normalleştirme kuralı olan kareye (karelerin kök toplamı) karşılık geldiğine dikkat edin. Bununla birlikte, herhangi bir normalleştirme türü, doğrusal bile olsa, genelliği kaybetmeden aynı sonucu verecektir. Küçük bir öğrenme oranı için | \eta | \ll 1 kullanılarak denklem bir Kuvvet serisi olarak genişletilebilir \eta .Oja, Erkki (November 1982). "Simplified neuron model as a principal component analyzer". Journal of Mathematical Biology. 15 (3): 267–273. doi:10.1007/BF00275687. PMID 7153672\. S2CID 16577977\. BF00275687. : \,w_i (n+1) ~ = ~ \frac{w_i}{\left( \sum_j w_j^p \right)^{1/p}} ~ + ~ \eta \left( \frac{y x_i}{\left(\sum_j w_j^p \right)^{1/p}} - \frac{w_i \sum_j y x_j w_j^{p-1}}{\left(\sum_j w_j^p \right)^{(1 + 1/p)}} \right) ~ + ~ O(\eta^2) . Küçük , yüksek dereceden terimlerimiz sıfıra gider. Yine doğrusal bir nöronun özelleştirmesini yaparız, yani nöronun çıktısı, her girdinin çarpımının toplamına ve sinaptik ağırlığına eşittir veya: : \,y(\mathbf{x}) ~ = ~ \sum_{j=1}^m x_j w_j . Ayrıca kararlılık için gerekli bir koşul olacak ağırlıklarımızın normalleştiğini de belirtiyoruz. : \,| \mathbf{w} | ~ = ~ \left( \sum_{j=1}^m w_j^p \right)^{1/p} ~ = ~ 1 , genişlememize eklendiğinde, Oja'nın kuralını verir veya: : \,w_i (n+1) ~ = ~ w_i + \eta\, y(x_i - w_i y) . === Kararlılık ve PCA === Oja kuralıyla gelişen tek bir nöronun yakınsamasını analiz ederken, bir veri setinin ilk temel bileşenini veya özelliğini çıkarırız. Ayrıca, Genelleştirilmiş Hebbian Algoritmasını kullanan uzantılarla, istenildiği kadar çok özelliği çıkarabilen ve temel bileşen analizine izin veren çoklu Oja sinir ağı oluşturulabiliriz. Bir ana bileşen , bir veri kümesinden bir ilişkili vektör veya aracılığıyla çıkarılır ve orijinal veri kümemizi geri yükleyebiliriz. : \mathbf{x} ~ = ~ \sum_j a_j \mathbf{q}_j . Oja kuralıyla eğitilen tek bir nöron durumunda, zaman veya yineleme sayısı sonsuza yaklaştıkça ağırlık vektörünün veya ilk ana bileşene yakınsadığını buluruz. Bir dizi girdi vektörü verildiğinde, korelasyon matrisinin tarafından özdeğeri ile verilen ilişkili bir özvektörüne sahip olduğunu da tanımlayabiliriz. Oja çıktılarının varyansı, daha sonra zaman yinelemeleri ile ana özdeğerine yakınsar veya: : \lim_{n\rightarrow\infty} \sigma^2(n) ~ = ~ \lambda_1 . Bu sonuçlar Lyapunov fonksiyon analizi kullanılarak türetilmiştir ve orijinal öğrenme kuralımızda belirli koşullar karşılanırsa Oja'nın nöronunun kesinlikle ilk temel bileşen üzerinde mutlaka birleştiğini göstermektedir. En önemlisi, öğrenmenin zamanla değişmesine izin verilir, ancak yalnızca toplamı farklı, ancak güç toplamı yakınsak, yani bu durumda: : \sum_{n=1}^\infty \eta(n) = \infty, ~~~ \sum_{n=1}^\infty \eta(n)^p < \infty, ~~~ p > 1 . Bizim çıkış aktivasyon fonksiyonu doğrusal olmayan ve statik olmayan izin, ancak her ikisi de sürekli türevlenebilir ve zamanında sınırlı türevleri olması gerekir. == Uygulamalar == Oja'nın kuralı, orijinal olarak Oja'nın 1982 tarihli makalesinde Oja, Erkki (November 1982). "Simplified neuron model as a principal component analyzer". Journal of Mathematical Biology. 15 (3): 267–273. doi:10.1007/BF00275687. PMID 7153672\. S2CID 16577977\. BF00275687. ancak uygulandığı kendi kendini örgütleme ilkesi ilk olarak 1952'de Alan Turing'e atfedilmiştir.Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2 ed.). Prentice Hall. ISBN 978-0-13-273350-2. PCA, Oja'nın kuralı 1989'da ağ hesaplamasında kullanımını resmileştirmeden önce de uzun bir kullanım geçmişine sahipti. Dolayısıyla model, herhangi bir kendi kendini organize eden haritalama problemine, özellikle öznitelik çıkarımının birincil ilgi konusu olduğu sorunlara uygulanabilir. Bu nedenle Oja kuralı görüntü ve konuşma işlemede önemli bir yere sahiptir. Ayrıca, daha yüksek işleme boyutlarına kolayca genişlediğinden ve böylece birden fazla çıktıyı hızlı bir şekilde entegre edebildiğinden kullanışlıdır. Kanonik bir örnek, dürbün görüşünde kullanılmasıdır. == Ayrıca bakınız == * BCM teorisi * Sinaptik plastisite * Kendi kendini organize eden harita * Temel bileşenler Analizi * Bağımsız bileşen analizi * Genelleştirilmiş Hebbian Algoritma == Kaynakça == == Dış bağlantılar == * Oja, Erkki: Scholarpedia'da Oja öğrenme kuralı * Oja, Erkki: Aalto Üniversitesi Kategori:Biyofizik Kategori:Hesaplamalı nörobilim Kategori:İncelenmemiş çeviri içeren sayfalar