Oja kuralı

Oja'nın öğrenme kuralı veya basitçe Fin bilgisayar bilimcisi Erkki Oja'nın adını taşıyan Oja kuralı, beyindeki veya yapay sinir ağlarındaki nöronların zaman içinde bağlantı gücünü nasıl değiştirdiğine veya öğrendiğine dair bir modeldir. Çarpımsal normalleştirme yoluyla, tüm kararlılık problemlerini çözen ve temel bileşen analizi için bir algoritma oluşturan, standart Hebb Kuralının (bkz. Hebbian öğrenimi) değişik bir tanımıdır. Bu, biyolojik nöronlarda meydana geldiğine inanılan bir etkinin hesaplamalı bir şeklidir.

Teori 
Oja'nın kuralı türetmek için bir dizi basitleştirme gerektirir, ancak son haliyle Hebb'in kuralının aksine, kanıtlanabilir şekilde kararlıdır. Genelleştirilmiş Hebbian Algoritmasının tek nöronlu özel bir durumudur. Bununla birlikte, Oja'nın kuralı, değişen derecelerde istikrar ve başarıya başka şekillerde de genelleştirilebilir.

Formül 
Basitleştirilmiş bir nöron modelini düşünün  bu olsun,  girdilerinin lineer bir kombinasyonunu,  presinaptik ağırlıkları kullanarak verir:

Oja kuralı, çıktı yanıtı verildiğinde presinaptik ağırlıklardaki değişikliği ' yi tanımlar.  bir nöronun girişleri  olmak üzere:

 

, zamanla da değişebilen öğrenme oranıdır. Kalın sembollerin vektörler olduğunu ve  ayrı bir zaman yinelemesini tanımladığını unutmayın. Kural ayrıca sürekli yinelemeler için de yapılabilir.

Türetme 
Bilinen en basit öğrenme kuralı, birlikte ateşleyen nöronların birbirine bağlandığını kavramsal terimlerle ifade eden Hebb kuralıdır. Bileşen formunda bir fark denklemi olarak yazılır:

  ,

veya örtük  bağımlılıkla skaler formda,

  ,

burada  yine çıktıdır, bu sefer açıkça girdi vektörü 'dir.

Hebb kuralı, pozitif bir öğrenme oranıyla sonsuza yaklaşan sinaptik ağırlıklara sahiptir. Bunu, ağırlıkları normalleştirerek durdurabiliriz, böylece her bir ağırlığın büyüklüğü, ağırlıksıza karşılık gelen 0 ile herhangi bir ağırlığa sahip tek giriş nöronuna karşılık gelen 1 arasında sınırlandırılır. Bunu, ağırlık vektörünü bir uzunlukta olacak şekilde normalleştirerek yaparız:

  .

Oja'nın orijinal makalesinde,  olarak bilinen Kartezyen normalleştirme kuralı olan kareye (karelerin kök toplamı) karşılık geldiğine dikkat edin. Bununla birlikte, herhangi bir normalleştirme türü, doğrusal bile olsa, genelliği kaybetmeden aynı sonucu verecektir.

Küçük bir öğrenme oranı için  kullanılarak denklem bir Kuvvet serisi olarak genişletilebilir  .

  .

Küçük , yüksek dereceden terimlerimiz  sıfıra gider. Yine doğrusal bir nöronun özelleştirmesini yaparız, yani nöronun çıktısı, her girdinin çarpımının toplamına ve sinaptik ağırlığına eşittir veya:

  .

Ayrıca kararlılık için gerekli bir koşul olacak ağırlıklarımızın  normalleştiğini de belirtiyoruz.

  ,

genişlememize eklendiğinde, Oja'nın kuralını verir veya:

  .

Kararlılık ve PCA 
Oja kuralıyla gelişen tek bir nöronun yakınsamasını analiz ederken, bir veri setinin ilk temel bileşenini veya özelliğini çıkarırız. Ayrıca, Genelleştirilmiş Hebbian Algoritmasını kullanan uzantılarla, istenildiği kadar çok özelliği çıkarabilen ve temel bileşen analizine izin veren çoklu Oja sinir ağı oluşturulabiliriz.

Bir ana bileşen , bir veri kümesinden  bir ilişkili vektör  veya  aracılığıyla çıkarılır ve orijinal veri kümemizi geri yükleyebiliriz.

  .

Oja kuralıyla eğitilen tek bir nöron durumunda, zaman veya yineleme sayısı sonsuza yaklaştıkça ağırlık vektörünün  veya ilk ana bileşene yakınsadığını buluruz. Bir dizi girdi vektörü  verildiğinde, korelasyon matrisinin   tarafından özdeğeri  ile verilen ilişkili bir özvektörüne sahip olduğunu da tanımlayabiliriz. Oja  çıktılarının varyansı, daha sonra zaman yinelemeleri ile ana özdeğerine yakınsar veya:

  .

Bu sonuçlar Lyapunov fonksiyon analizi kullanılarak türetilmiştir ve orijinal öğrenme kuralımızda belirli koşullar karşılanırsa Oja'nın nöronunun kesinlikle ilk temel bileşen üzerinde mutlaka birleştiğini göstermektedir. En önemlisi, öğrenmenin  zamanla değişmesine izin verilir, ancak yalnızca toplamı farklı, ancak güç toplamı yakınsak, yani bu durumda:

  .

Bizim çıkış aktivasyon fonksiyonu  doğrusal olmayan ve statik olmayan izin, ancak her ikisi de   sürekli türevlenebilir ve zamanında sınırlı türevleri olması gerekir.

Uygulamalar 
Oja'nın kuralı, orijinal olarak Oja'nın 1982 tarihli makalesinde  ancak uygulandığı kendi kendini örgütleme ilkesi ilk olarak 1952'de Alan Turing'e atfedilmiştir. PCA, Oja'nın kuralı 1989'da ağ hesaplamasında kullanımını resmileştirmeden önce de uzun bir kullanım geçmişine sahipti. Dolayısıyla model, herhangi bir kendi kendini organize eden haritalama problemine, özellikle öznitelik çıkarımının birincil ilgi konusu olduğu sorunlara uygulanabilir. Bu nedenle Oja kuralı görüntü ve konuşma işlemede önemli bir yere sahiptir. Ayrıca, daha yüksek işleme boyutlarına kolayca genişlediğinden ve böylece birden fazla çıktıyı hızlı bir şekilde entegre edebildiğinden kullanışlıdır. Kanonik bir örnek, dürbün görüşünde kullanılmasıdır.

Ayrıca bakınız 

 BCM teorisi
 Sinaptik plastisite
 Kendi kendini organize eden harita
 Temel bileşenler Analizi
 Bağımsız bileşen analizi
 Genelleştirilmiş Hebbian Algoritma

Kaynakça

Dış bağlantılar 

 Oja, Erkki: Scholarpedia'da Oja öğrenme kuralı 
 Oja, Erkki: Aalto Üniversitesi 

Biyofizik
Hesaplamalı nörobilim
İncelenmemiş çeviri içeren sayfalar