Newsgroup: it.comp.ia
Titolo: The perfect solution for a Neural Network System?

Salve,
mi occupo di un progetto di Reti Neurali.
(per chi volesse posso dare ulteriori info)
L'entità del carico computazionale come immaginerete è notevole e sempre
crescente.
Dovendo potenziare il "sistema" (HW/SW) su cui si poggia il progetto che sto
sviluppando.
Il sodaggio che pongo a tutti è:
"Quale è la migliore soluzione sistemistica per l'implementazione e la
gestione di una Rete Neurale di vaste proporzioni?"
(sono contemplabili anche soluzioni ambiziose)
Grazie!!



 
bwhaaaaaaa....linux beowulf cluster da 100 macchine che lavorano in 
parallelo...potenza pura! :D
-- 
Saverio Vigni
HoRNet IT Manager
http://www.hor-net.com

 parallelo...potenza pura! :D
Quale rate si avrebbe rapportato ad un singolo ADM XP 1900+ ?
Ma sei davvero sicuro che il SO Linux in questo caso sia il più efficente?
(escludiamo pure Windows Xp  dai candidati oK?!)
Hai notizie su sistemi di questo genere già impiegati? Ne conosci qualcuno?

> Ma sei davvero sicuro che il SO Linux in questo caso sia il più efficente?
Se ci dici COSA vuoi fare magari dirti cosa ti serve e' piu' semplice. Ti
pare ?
Stefano

 pare ?
L'archittettura  utilizzata č una semplice rete non supervisionata a
Back-propagation.


wrote:
| "Quale č la migliore soluzione sistemistica per l'implementazione e la
| gestione di una Rete Neurale di vaste proporzioni?"
conosci i processori paralleli prodotti dalla italiana Neuricam?
hanno avuto diversi premi per le prestazioni.
http://www.neuricam.com/Neuricam/Products/Totem/nc3002.htm
...32-processor high performance parallel neural chip, 256 weights per
neuron, 40 MHz, 1.2 GCPS
http://www.neuricam.com/Neuricam/Products/Totem/totempc.htm
 (il 3002 su scheda PCI, per soluzioni in cluster di PC).
con i processori viene fornito anche un SDK per sviluppare
applicazioni con tecnica 'reactive tabu search'.
E visto che uno dei soci di NC usa Linux a piene mani tanto da avere
una sua distribuzione (EtLinux), penso che sia disponibile anche per
il pinguino. 
| 
| (sono contemplabili anche soluzioni ambiziose)
| 
http://www.neuricam.com/Neuricam/Docs/Brochures/Apemille/SchedaApemille_cdr8.pdf
... a versatile massive-parallel processor optimised for heavy duty
numerical applications and scalable from 4 GigaFlops to 1 TeraFlops.
se non ti bastano, vorrei proprio sapere cosa devi realizzare :-)
--
Sani
Furlit
______________________________
reply-to x rot13 per scrivermi


un ottimo SETI cruncher.
LOL
--
sandro pons

> un ottimo SETI cruncher.
Ovvero?
Dome
--
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
PC Brain Official Web Site
http://digilander.iol.it/pcbrain
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-

 Back-propagation.
Si', ma capirai che se analizza 100 ingressi, 1000 ingressi, o se e' una
Madaline a 2 ingressi, CAMBIANO parecchie cose.
Stefano

 Madaline a 2 ingressi, CAMBIANO parecchie cose.
"Madaline"??
Potresti spiegarti meglio?
Gli ingressi sono (per ora) dell'ordine dei 10k ma per una migliore
risoluzione 1000k sarebbe perfetti. (vedili come valori corrispondenti a
vocaboli giacchè il progetto tratta memoria semantica)
Come layer di uscita altrettanti (autoassociazione) o  in altenativa (sto
ancora valutando le due soluzioni) attorno ai 30k (questi vedili come
corrispondenti al numero di documenti conteneti il testo associato ai
vocaboli).
Come Hidden layer (per ottenere una buona rappresentazione) almeno 1-10k
max.
Spero di averti delucidato riguardo al purpuse.
Considera che in queste situazioni, a meno che non si possegga un Itanium o
Sparc, i cicli necessari al trainig diventano gironi danteschi (e non
finiscono mai).
Anche la soluzione Dual ADM MP sembra poco sfruttabile in mancaza di SW
adeguato.

> un ottimo SETI cruncher.
Cosa, perdona l'ignoranza...

> Gli ingressi sono (per ora) dell'ordine dei 10k ma per una migliore
DIECIMILA ?
Allo stato attuale le reti neurali vengono impiegate, REALISTICAMENTE, con
un ordine di misura di ingressi che sta tra 1/10 e 1/100 di quello che dici.
Direi che se mappi 10.000 ingressi probabilmente non hai formulato
correttamente il problema che stai cercando di trattare !
Stefano

 correttamente il problema che stai cercando di trattare !
Scopo del problema è raggiungere una rappresentazione, per quanto possibile,
il più realistica (ergo analogamente alla aree cerebrali interessate, la
loro possibile mappatura o meglio rappresentazione dei concetti).
Se hai idee, sarò ben felici di ascoltarti.
Esistono comunque dal punto di vista neurologico interessanti disturbi che
sembrano portare a questo tipo di archittettura.
(Si spera che la NMR-f porti alla luce altre sorprese)

 adeguato.
Se ti compri un Cray, magari...
Stefano

> se non ti bastano, vorrei proprio sapere cosa devi realizzare :-)
Io vorrei sapere a quale applicazione possa realisticamente servire 'sta
cosa ^_^
Stefano

 loro possibile mappatura o meglio rappresentazione dei concetti).
La frase non ha molto senso, ma spero di interpretarla correttamente
intendendo che vogliate simulare il processo di analisi del linguaggio messo
in atto dal cervello...
Se consideri che un neurone naturale ha fino a 40.000 sinapsi, che queste si
adattano e si riconvertono strutturalmente e che probabilmente i fenomeni di
scarica che vediamo (che non sono ovviamente adeguatamente rappresentati da
somma e rilascio) sono probabilmente solo una piccolissima parte del
meccanismo di funzionamento del cervello, direi che l'esperimento e' votato
al fallimento. I neuroni artificiali NON riproducono, NON intendono
riprodurre e NON riprodurranno MAI un cervello reale.
Una rete neurale e' soltanto un CLASSIFICATORE che suddivide un iperspazio
di dati in ipercubi o comunque in ipervolumi ciascuno dei quali
corrispondente a un "interessante" sottoinsieme. Se preferisci e' uno
stimatore o ricostruttore a scatola nera che funziona da approssimante
generale ingresso/uscita di qualsiasi funzione.
Stefano

 se non ti bastano, vorrei proprio sapere cosa devi realizzare :-
con tutti questi discorsi mi avete fatto venire voglia di lcuster...ho un P133 ed un P200 che mi avanzano, 
quasi quasi me li clusterizzo e provo a vedere quanto e' difficile un beowulf tra sti 2 sistemi... :)


 
mi sorge il dubbio che tu non sappia cosa e' un cluster beowulf :) 
comunque...prova a fare un cluster per calcolo parallelo con 
windows...poi mi sai ridire.
in pratica metti 100 computer con dentro cio' che vuoi (quindi anche 8 
processori alpha volendo) a lavorare in maniera parallela sullo stesso 
problema, la potenza di calcolo mi pare impresionante no? e' la bellezza 
dei cluster :D


On Wed, 21 Nov 2001 16:28:25 GMT, 
po...@mindless.com
 (Sandro Pons) wrote:
SETI @ Home...mai sentito ?
il SETI e' il progetto per la ricerca di segnali extraterrestri,
grazie ad un enorme radiotelescopio, vengono immagazzinati enormi quantita' di
dati, che devono poi essere elaborati per rimuovere disturbi, e capire se ci
sono segnali radio interessanti.
per fare questo c'e' bisogno di una grande potenza di elaborazione.
quindi un computerone come quello descritto, potrebbe avere un ottimo impiego
per il progetto SETI, oppure altri progetti di calcolo condiviso o distribuito.
..ce ne era uno anche per lo studio del dna e dell'aids...non ricordo il link.
SETI ->  
http://iosef.ssl.berkeley.edu
--
Sandro Pons

On Thu, 22 Nov 2001 08:23:05 GMT, 
po...@mindless.com
 (Sandro Pons)
wrote:
| 
| quindi un computerone come quello descritto, potrebbe avere un ottimo impiego
| per il progetto SETI, oppure altri progetti di calcolo condiviso o distribuito.
| ..ce ne era uno anche per lo studio del dna e dell'aids...non ricordo il link.
(per chi non ha scaricato il pdf linkato sopra: APEmille)
...are designed for number crunching tasks in theoretical
particle physics. The 3-dimensional communication network, the custom
designed VLI processors and the machine parameters are optimised for
numerical simulations of Quantumchromodynamics (QCD) on the lattice.
LargeAPEmille Sub-Systems produced for INFN
and DESY by NeuriCam S.p.A. are currently
installed at various INFN sites, at DESYZeuthen,
and at other European research institutions.
For further information about the APE project:
http://apegate.roma1.infn.it/intranet
http://pcape2.pi.infn/APE
http://www-zeuthen.desy.de/APE


 Se ti compri un Cray, magari...
"Cray"
...cos'è ?
(ammetto che per me tante cose son nuove)

 dei cluster :D
Hai degli esempi in cui tutto questo viene realisticamente impegato?

 quasi quasi me li clusterizzo e provo a vedere quanto e' difficile un
beowulf tra sti 2 sistemi... :)
..Grande!!
Sai in che modo procedere?
Sapresti dare delle indicazioni per chi vorrebbe spenderci qualche tentativo
sopra?

 generale ingresso/uscita di qualsiasi funzione.
Hey, avresti dei buoni link a riguardo?
(in caso anche qualche testo o articolo cartaceo)
(Mi interessano abbastanza anche i sitemi non lineari... ed i frattali...)
Grazie ancora Stefano.

 Hai degli esempi in cui tutto questo viene realisticamente impegato?
yahoo e' un cluster, non so su che piattaforme pero'...
--
HariSeldon[MSS] su Starcraft
Artemis su clessidra
Roberto Previdi in r.l.
Aieie Brazo sull'autobus :-)

 sopra?
eh anchio vorrei clusterizzare... ho a disposizione 6 o 7 pc che vanno da un
celeron 800 a un 486 66 ... ma l'overhead che deriva dalla rete a bus non
sara' troppo pesante?


 
yahoo gira su server FreeBSD.
se vuoi sapere di piu' sui cluster beowulf (che comunque sono solo un 
tipo di cluster...)
http://www.beowulf.org/


 
premesso che non ho mai fatto un cluster, dipende dal tipo di cluster, se l'interazione tra le macchine e' stretta
(tipo processi condivisi) allora ci vuole una bella rete, credo che fino 
a 4 - 5 macchine si possa usare una ethernet a 100MB, per un numero 
superiore bisogna usare le GigaEthernet...e non so se bastera'... 
(queste sono considerazioni a occhio e del momento, e potrebbero essere 
tutte sbagliate :))
comunque su google ho trovato questo:
http://www.fysik.dtu.dk/CAMP/cluster-howto.html



http://www.fysik.dtu.dk/CAMP/cluster-howto.html
May the Force be with you!

 ...cos'è ?
Nota marca americana di supercomputer.
Stefano

> yahoo gira su server FreeBSD.
Come Hotmail, del resto ^_^
Stefano

 Grazie ancora Stefano.
Nada!
Stefano