Rekurentná neurónová sieť

Rekurentná neurónová sieť alebo rekurentná sieť je rozšírenie priamoväzbovej neurónovej siete spojením medzi neurónmi, ktoré umožňuje dvojcestné, dvojsmerné šírenie signálov medzi neurónmi v určitej časovej postupnosti, príp. šírenie signálu v rámci toho istého neurónu.

Rekurentné siete so spätnými väzbami sa dajú na priamoväzbové siete prekresliť tak, že spätne sa nahradia priamymi vstupmi z fiktívnych neurónov, pričom signály do nich sú privádzané z výstupov neurónov v ďalšom kroku (tieto signály, v porovnaní s priamoväzbovými sú oneskorené, posunuté).

 Algoritmy učenia rekurentných sieti (RTRL algoritmus) 
V RTRL algoritme sa priebežne adaptujú váhy rekurentnej siete, využívajúc chyby et a et+1 , t.j. chyby z aktuálneho a predchádzajúceho cyklu. 

RTRL Algoritmus:
 Inicializujeme hodnoty prvkov vahovych vektorov v, ṽ,w,ẃ
 Z trénovacej množiny predložíme prvý (t=1) vstup. Jeho dopredným šírením sieťou určíme ỹt  ako aktivačnú hodnotu výstupného neurónu
 Z trénovacej množiny predložíme ďalší vstupný signál. Jeho dopredným šírením na výstup siete určíme ỹt+1. V tomto prípade pri doprednom šírení signálov prostredníctvom fiktívnych neurónov zohľadníme spätnoväzbové účinky neurónov výstupnej a skrytej vrstvy. 
 Na aktualizáciu synaptických váh vj a ṽj medzi všetkými neurónmi skrytej a výstupnej vrstvy definujeme chybový term ∆t+1.
 Na adaptáciu synaptických váh určíme gradient chybovej funkcie, ktorým aktualizujeme jednotlivé váhy :vj ← vj + ηoj∆t+1,        j = 1, 2, ... sṽ ← ṽ + ηŷt∆t+1
 Na adaptáciu synaptyckých váh wrj, resp ẃj medzi vstupnou a skrytou vrstvou neurónov definujeme chybový term ∆j,t+1 a pravidlo na adaptáciu všetkých synaptických váh wrj, ẃj medzi spojeniami vstupných neurónov a neurónov skrytej vrstvy.
 Aplikujeme jednotlivé činnosti od 3. kroku až do posledného vstupného signálu z trénovacej množiny.

Kategória:Umelé neurónové siete