Newsgroup: it.comp.ia
Titolo: 2 domande per iniziare con le NN

Saluti a tutti.
Sto interessandomi da poco alle reti neurali.
Ho appreso un po' di teoria ma non riesco ancora a fare pratica.
Avrei 2 domande:
1) Anche i neuroni di Input devono avere una funzione di trasferimento
o posso usare la funzione identica (cioe' faccio passare l'input
cosi com'e')?
2) Come faccio ad applicare l'algoritmo di Hebb per aggiornare i pesi
senza calcolare le derivate? e' possibile? ci sono altri modi?
Questo per iniziare. Poi magari vi rompero' le scatole
con altre questioni.
Ringrazio in anticipo e saluto.
Roberto.
P.S: ogni consiglio inerente e' bene accetto ;-)
-- 
			  /:= Linux Powered =:/
  	    /:= e-mail: metti "libero" al posto di "NOSPAM" =:/

 senza calcolare le derivate? e' possibile? ci sono altri modi?
Beh, il back-prop si basa proprio sulle derivate.
Quello che puoi fare, però, è di non fare il calcolo "vero", ma usare delle
tabelle interpolanti. Il "trucco" è di pre-calcolare le derivate per alcuni
punti (se lavori sulla logistica, 10 punti possono già bastare, in genere
con 100 sei a cavallo), e poi interpolare linearmente nei punti di mezzo.
Meglio ancora, se lavori sulla funzione logistica, puoi calcolare la
derivata durante la fase FF dato che:
f'(x) = f(x)(1-f(x))
(ovvero 1 sottrazione ed 1 moltiplicazione su numeri reali, con costo
computazionale molto basso)
Tieni presente che anche altre funzioni comunemente usate hanno espressioni
simili per il calcolo delle derivate.
Scusa la brevità, se qualcosa non è chiaro, domanda ancora.
Ciao
--
Alessandro Monti


L'algoritmo di Hebb per il calcolo dei pesi della rete non richiede il
calcolo della derivata. La regola di Hebb può essere descritta da:
Dw(k,j)=Lr*y(k)*x(j), dove Dw sta per variazione del peso w, lr è il tasso
di apprendimento e y(k) è l'uscita del k-esimo neurone e x(j) ne è il
j-esimo ingresso.
In pratica  se i neuroni collegati fra loro sono contemporaneamente attivi
la connesione viene rinforzata.
Forse ti sei confuso con la regola Delta, dove è necessario calcolare le
derivate, e si usa nell'apprendimento con back propagation. In questo caso
però il problema di calcolare le derivate è del tutto trascurabile, in
quanto possono essere espresse in funzione della funzione da derivare.
(almeno per le funzioni di attivazione che usualmente si usano).


Ciao


(almeno per le funzioni di attivazione che usualmente si usano).
Conosci qualche sito in cui e' possibile recuperare queste
"espressioni"?
Grazie.
Roberto





 "espressioni"?
Mi dispiace ma non so darti nessun indirizzo, ma sicuramente ne esistono.
Comunque se ti riferisci alle espressioni delle derivate delle funzioni di
attivazione dei neuroni, si tratta semplicemente di fare la derivata di una
funzione di una variabile, ed esprimerla in funzione della funzione da
derivare. Spesso si trovano già pronte all'uso sui libri che tratto le reti
neurali.
Ciao

punti?
Perchè no? Ovviamente più punti hai e meglio è.
Ciao
--
Alessandro Monti
P.S.
Ovviamente il tutto cade dato che (come hanno fatto notare) non usi la delta
rule. Pazienza, facciamo finta che tu voglia lo stesso calcolare la
derivata... la prossima volta imparo a leggere meglio le domade :-)