Newsgroup: it.comp.hardware.storage
Titolo: Far durare i dati

Ho potuto constatare che :
1) mediamente ogni 4-5 anni si rompe l'HD e si perdono tutti i dati
2) se si memorizzano i dati su CD, DVD, dischetti magnetici (che comunque
non si usano piu'), lo stesso dopo 4-5 anni i supporti diventano illeggibili
e si perdono tutti i dati
Ora io mi chiedo : quale potrebbe essere la strategia/politica per far
durare i dati per molto tempo ? Non dico per l'eternita', ma almeno per
poter lasciare i propri dati ad un certo numero di generazione future :-)
Io avevo pensato ad un sistema RAID. Mettiamo che ci siano 4 dischi montati
a RAID, allora ad intervalli regolari di tempo il sistema potrebbe fare dei
controlli sui dati memorizzati e correggerli se ci sono degli
errori/cancellazioni/perdite di dati, fruttando la ridondanza del RAID. Il
sistema sarebbe pure sicuro se per esempio si rompesse un solo disco che
potrebbe essere sostituito e riscritto. Certo la peggiore situazione sarebbe
che si rompessero tutti e 4 i dischi contemporaneamente, che pero' e' un
evento improbabile. Mettiamo che io compri un sistema RAID adesso e mi si
rompa un disco fra 5 anni, se la casa costruttrice del sistema RAID non
esiste piu', oppure non supporta piu' il sistema come si fa ?
Io avevo anche pensato a grossi nastri magnetici
-- 
per rispondere via e-mail
togliere uvw dalla fine dell' indirizzo

 esiste piu', oppure non supporta piu' il sistema come si fa ?
Usi un SW RAID, che potrebbe sopravvivere a piu`
generazioni di HW.
Tra l'altro, usando astutamente quella soluzione,
avresti la possibilita` di aumentare la capacita`
dell'array man mano che cambi i dischi vecchi con
nuovi piu` grandi.
bye,
-- 
piergiorgio

Victor Frankenstein ha pensato forte :

In genere un buon controller RAID su scheda il supporto da parte della 
casa produttrice dura anche 10 anni...

 nuovi piu` grandi.
Questa cosa mi interessa moltissimo: hai qualche link/referenza da darmi? Ho 
intenzione nel prossimo futuro di mettere su un serverino casalingo con una 
qualche distro linux (magari uan debian stable) con un grosso raid 
software... devo studiare :-) mi sai indirizzare su qualche risorsa?
Thx,
Pleg 

 software... devo studiare :-) mi sai indirizzare su qualche risorsa?
Allora, link per RAID (con linux) li trovi cercando "raid how
to" o simile. Sopra i volumi RAID, ci si mette LVM (sempre
"lvm how to").
Magari anche assieme con "linux" come keyword di ricerca.
La documentazione non e` brillantissima, ma magari si riesce
a fare qualche esperimento, dopodiche` il resto e` tutto in
discesa (magari con qualche script promemoria).
L'idea dell'aumento della capacita` totale dello storage si
basa sulle seguenti considerazioni:
1) aggiundendo un HD ad un raid 5, e` possibile riconfigurare,
al volo, l'array, in modo da usare quel disco per aumentare la
capacita` totale del volume.
2) un raid 5 funziona con *due* (2) dischi, avendo le stesse
prestazioni di sicurezza di un raid 1 (ma non le stesse di velocita`).
3) con un sistema LVM si puo` aumentare la capacita`, o aggiungendo
uno o piu` volumi, oppure facendo "crescere" un volume
4) ext3, cosi` come altri FS, puo`, anche lui, crescere
Allora, quello che si fa e` partire con 2 o 3 dischi identici
(od anche non identici), configurare un volume raid 5, dopo
aver partizionato gli HD.
Esempio:
Diciamo di avere 3 dischi da 200GB, per un totale di 400GB
disponibili nell'array.
Su questo volume raid ci facciamo un LVM.
Supponiamo di aggiungere un HD, da 750GB, ovviamente solo 200GB
saranno utilizzabili per far crescere il raid.
Una volta modificato il raid, si fa crescere di 200GB anche LVM
e poi ext3 od il filesystem specifico.
Cosi` otteniamo un nuovo raid da 600GB.
Ovviamente, 550GB saranno inutilizzati.
Supponiamo, ancora, che un disco da 200GB si rompa e venga
sostituito con un altro da 750GB.
Questo viene (come l'altro) partizionato in 200+550, i 200 vanno
a rimpiazzare il disco mancante del primo raid, i 550 rimasti si
mettono ancora in raid 5 con i precedenti 550, creando un secondo
volume raid da 550GB.
Questo secondo volume viene aggiunto al LVM e poi il FS viene, di
nuovo, fatto crescere.
In questo modo siamo partiti con 400GB in 3 dischi raid 5, e siamo
arrivati a 600GB+550GB con 4 dischi.
Il sistema e` ancora resistente ad un (1) disk failure e viene
visto come un'unica partizione, creata sopra LVM. Quindi niente
frammentazione dello storage in piu` blocchi.
Controindicazioni:
1) far crescere un raid 5 da, per esempio, 3 a 4 dischi richiede
un sacco di tempo, diverse ore (o giorni).
2) non so quanto sia "robusto" l'array duranta la crescita.
3) bisogna partizionare attentamente i vari dischi, dato che non
e` detto possano contenere tutte le future partizioni. GPT magari
va meglio, dato che supporterebbe fino a 128 partizioni.
4) con troppi dischi, un raid 5 diventa pericoloso, poiche` aumenta
la possibilita` di due (2) disk failure.
Boh, credo sia tutto quello che c'e` da sapere. Per i dettagli,
come scritto all'inizio, ci sono vari how to e bisogna un po'
sperimentare, magari usando loop device (how to anche per quello).
bye,
-- 
piergiorgio

 
Cioè è possibile implementare un array 5 con soli due dischi?

 Cioè è possibile implementare un array 5 con soli due dischi?
Si.
Sembre essere un segreto ben custodito, ma e` possibile.
Come scritto in precedenza, "resistente" alla rottura di
uno dei due dischi.
Ho provato la cosa di persona, mentre "giocavo" con il
RAID su USB ed effettivamente non vi sono problemi.
Immagino che la cosa non abbia "successo", poiche` un
RAID-1 ha la stessa sicurezza con prestazioni maggiori.
Pero` se si pensa di aggiungere un disco in seguito...
Da:
http://www.n8gray.org/blog/2006/09/05/stupid-raid-tricks-with-evms-and-mdadm/
...
The next bit is somewhat voodoo. It’s based on the semi-obscure fact 
that the RAID 5 algorithm can indeed be applied to two disks, and when 
you do so the disks end up mirrored! This works because the parity of a 
single block is equal to the block itself, though the normal way of 
setting up RAID 5 arrays involves computing the parity of at least two 
blocks. As a consequence, the only difference between a 2-disk RAID 1 
pair and 2-disk RAID 5 array is the metadata! By rewriting the RAID 
metadata, we can instantly convert our array to RAID 5.
...
bye,
-- 
piergiorgio

 la possibilita` di due (2) disk failure.
Si', sono le cose che mi preoccupano di piu'. Tra l'altro ho trovato un sito 
molto divertente 
http://www.baarf.com/
 di gente CONTRO il RAID5 e similari 
:-)
Per questo sto esplorando l'idea di un RAID6 o 10.
Pleg 

 Per questo sto esplorando l'idea di un RAID6 o 10.
Se il RAID-6 puo` essere accresciuto, io opterei per
quello. Invece il 10 mi pare poco flessibile e troppo
complicato, utile solo se le prestazioni piu` elevate
siano effettivamente necessarie.
Quando avrai maggiori informazioni sul RAID-6, potresti
postare un riassunto? Thanks!
bye,
-- 
piergiorgio

 ...
Ringrazio tutti per le risposte. Sai per caso se con il software RAID che 
illustri ci si puo' far funzionare anche eMule, cioe' voglio dire poter 
utilizzare le cartelle del sistema RAID come cartelle condivise di eMule. Io 
ho WinXP ma vorrei fare la cosa con Linux, quindi dovrei usare aMule (o 
xMule ?), tempo fa avevo Linux Mandriva e provai piu' volte a farlo 
funzionare ma diceva che mancano alcuni componenti e lasciai perdere.
Comunque ho pensato che quasi tutti gli enti pubblici, per es INPS, hanno 
dei sistemi informatizzati con dati degli utenti che gli durano decine e 
decine di anni, quindi devono avere qualche sistema/politica interna per 
realizzare cio' 

 realizzare cio' 
Backup, backup, backup...
E cose tipo SAN e compagni.
Ultima cosa, per un RAID sarebbe meglio avere HD, magari
di capacita` simile, ma di marche diverse.
Avendo, per esempio, 3 HD dello stesso produttore, fatti
nella stessa fabbrica, lo stesso mese, si corre il rischio
che si rompano anche tutti piu` o meno nello stesso tempo.
bye,
-- 
piergiorgio


Mah qui avrei qualche dubbio a rigaurdo... ad esempio utilizzo un 
vecchio HD da 40GB da 5 anni solo per Emule e fino ad ora funziona 
ancora perfettamente :))

 ...
Comunque il fatto che i programmi P2P sollecitino parecchio i dischi si 
sente spesso. Non ho mai capito bene perche', in fondo quando il PC funziona 
l'HD gira sempre, ma forse con i programmi P2P e sollecitata parecchio la 
testina che deve continuamente spostarsi tra i vari settori a recuperare 
pezzi di file.

Victor Frankenstein ha pensato forte :

Onestamente non vedo che la spia di attività sia molto sollecitata 
quando sono collegato con il mulo... è comunque possibile che se uno 
scarica decine e decine di elementi in contemporanea ci possa essere un 
certo "stress" sul gruppo portatestine e l'attuatore, ma se ci si 
limita alle 10 o 20 unità come faccio in genere io, la vita utile 
dell'unità non si abbasserà in maniera repentina.

 pezzi di file.
Esattamente, pare, si dice, si narra, sia questo il
motivo, anche se non so quanto sia quantificabile.
bye,
-- 
piergiorgio