Newsgroup: it.comp.ia
Titolo: Adaline & co.

Salve a tutti,
sono nuovo di questo ng e mi sono iscritto perché sto studiando le reti 
neuronali e mi sono venuti alcuni dubbi riguardo alla regola delta.
- Per il percettrone ho capito bene il problema della separazione lineare: 
in quel caso si richiede una classificazione "binaria" dunque ha senso 
parlare di separazione (dei vettori input classificati positivamente da 
quelli classificati negativamente). Per nodi ad attivazione "non a gradino" 
cosa vuol dire separazione lineare?
- I libri che sto studiando affermano, senza dimostrazioni, che  per la 
regola delta la condizione di convergenza verso l'errore nullo è data dall' 
indipendenza lineare dei vettori (insomma se i vettori input sono 
linearmente dipendenti l'errore commesso dalla rete potrebbe non diventare 
mai nullo). Affermano inoltre che tale indipendenza implica la separabilità 
lineare (parole testuali). Previo chiarimento della precedente domanda, 
potreste spiegarmi meglio questi due punti?
- Perché se il numero di vettori d'addestramento supera la dimensionalità 
degli stessi sicuramente questi non sono linearmente indipendenti?
Grazie infinite a chiunque mi risponderà!

 degli stessi sicuramente questi non sono linearmente indipendenti?
Un buon testo di algebra lineare ti spieghera' queste magie :-)
Ad ogni modo, in una matrice il numero di righe o colonne linearmente
indipendenti corrisponde al rango, il rango ha come massimo la minima
dimensione della matrice, se consideri la matrice formata da vettori di
dimensione 5, il massimo numero di vettori di dimensione 5 linearmente
indipendenti e', appunto, 5. Se ne prendi 6 il 6to e' sempre combinazione
lineare degli altri.
Ste

 Ste
Innanzi tutto, grazie mille della risposta!
Ok, vediamo se ho capito: col metodo di eliminazione di Gauss, se il numero 
di colonne (n) è maggiore del numero di righe (m), le ultime (n-m) righe 
saranno nulle, giusto?
Saluti,
        Davide

 saranno nulle, giusto?
Non so di cosa tu stia parlando, ma a occhio stai ricordando (male) un
teorema o una regola che si applica ai sistemi lineari.
Qui parliamo di dipendenza lineare, cioe' dell'esistenza di una m-pla di
coefficienti non tutti nulli c1, c2... cn tali che, detta A la matrice e A1,
A2, ... Am le righe della matrice, sia:
c1*A1 + c2*A2 +... + cn*An = 0
Stefano

Raistlin wrote:

Ho ricontrollato su un libro di algebra lineare:
Effettivamente il metodo di eliminazione di Gauss viene *usato* per 
risolvere sistemi lineari; ma applicandolo ad una matrice qualunque, 
ottiniamo una matrice triangolare (ad esempio triangolare superiore)
che ha N righe non nulle (le prime N). N è proprio il rango della matrice 
perchè indica il numero di vettori riga linearmente indipendenti (le righe 
che sono diventate nulle erano scrivibili come combinazione lineare di 
altri vettori della matrice iniziale).
Ora se ho più colonne (n) che righe (m), per essere triangolare la matrice 
dovrà necessariamente avere (n-m) righe nulle.
Ciao
Davide.

 dovrà necessariamente avere (n-m) righe nulle.
Aggiungo:
Considerando i vettori d'addestramento del neurone come righe di una matrice 
se ho più vettori d'addestramento (più righe) che dimensionalità dell'input 
(colonne) allora questi non possono essere linearmente indipendeti (poichè 
rango < del numero di righe).
Forse stò facendo un giro un po' lungo per rispondere alla domanda che ho 
fatto ma sembra corretto, o no?

> Ho ricontrollato su un libro di algebra lineare:
In buona sostanza, stai dimostrando che 2+2 = 4 partendo dalla conoscenza
delle equazioni differenziali ?
Ste

Raistlin wrote:

Cercavo una *dimostrazione* convincente. La spiegazione che mi hai dato tu è 
assolutamente insoddisfacente: mi fido più di Gauss... Scusa!
Dav