Newsgroup: it.comp.hardware.storage
Titolo: RAID homemade

Non so se questa sia un FAQ, ma qualcuno ha
provato (o conosce qualche progetto) a mettere
assieme un SW RAID (5) con 3 o piu` HD esterni
su USB (o 1394) ed un hub USB (o 1394)?
Ho trovato solo un progettino sperimentale con
tre USB stick, ma nessuno con HD veri.
L'idea e` avere un case con 3~7 HD in RAID-5,
gestiti da una singola connessione USB.
Una domanda e` se la velocita` satura l'USB
oppure l'overhead riduce le prestazioni.
Commenti?
bye,
-- 
piergiorgio

 Commenti?
Chi te lo fa fare? Se hai un esigenza magari ci sono altre soluzioni piu
furbe per risolverla. Se lo fai a fine di studio mi spiace di non aver
saputo aiutarti di piu :))

 saputo aiutarti di piu :))
Mezzo e mezzo.
L'idea di partenza era un "very cheap storage".
Qualcosa tipo NAS, con ridondanza (RAID-5).
La soluzione USB ha dei vantaggi.
Per es. ogni HD ha un suo alimentatore, e` possibile
l'hotplug/unplug degli HD.
Un convertitore USB<->ATA, con alimentatore, costa
assai poco ed un hub anche.
Ovviamente, pero`, sarebbe interessante sapere *prima*
quali problematiche potrebbero esserci.
In questo contesto, esiste qualche informazione su
come "drobo" gestisce i passaggi da 2->3->4 HD?
bye,
-- 
piergiorgio

imho
l'usb non è proprio adatto a gestire cose di questo tipo.
è già normale che ogni tanto si blocchi (e succede) con un solo hd, infilarne 3,4,5 e fargli gestire 
il raid, è praticamente impossibile.
l'usb supporta l'hot-plug che male si abbina alle funzioni raid. (non confondere hot-plug, con 
hot-swap, cose molto diverse).
i costi ... una qualunque sk madre supporta almeno 4 sata, e li hai molti meno problemi nel gestire 
un raid.
ripeto, secondo me, la cosa non ha proprio senso, ed in ogni caso dubito fortemente che possa 
funzionare per più di qualche ora...
se la tua intenzione è solo didattica, allora prova con vmware  (server free) crei n° hd virtuali, e 
fai tutte le prove che vuoi.
ciao

 free) crei n° hd virtuali, e fai tutte le prove che vuoi.
Questo lo ho gia` fatto con i loop device, ma non
mi dice nulla sul funzionamento dell'USB.
bye,
-- 
piergiorgio

 che non 4 USB<->ATA ed HUB.
Non ho capito, ma i dischi dove li attaccheresti? A una MB prima o poi ci
dovrai pur arrivare no?

 dovrai pur arrivare no?
No, arrivi al PC che deve accedere ai dati via USB.
Per esempio, prendi 3 HD con 3 USB<->ATA bridge ed un
hub (per semplificare le connessioni).
L'hub lo colleghi al PC in uso, che vede i 3 HD USB,
su 3 device, tipo /dev/sdb, /dev/sdc, /dev/sdd.
Su questi poi configuri il RAID 5 software, ma questo
viene fatto sull'host PC, cioe` sul PC che poi usera`
i dati. In pratica uno storage USB tipo drobo:
http://www.drobo.com/
Dove pero` il SW non sta sullo storage, che e` cpuless.
Ovviamente uno potrebbe anche attacarci un mini-PC per
fare da NAS, ma questo e` un'altra storia, si puo`, in
questo caso, andare verso linksys o simili.
Avendo 3 USB<->ATA bridge che vanno, per esempio, a
16MiB/sec, si riesce a trasferire a 48MiB/sec verso
l'host PC? Oppure l'overhead dei pacchetti USB tra
hub, bridge e PC ammazza le prestazioni?
Si riesce a fare un hotswap, sfruttando l'hotplug?
bye,
-- 
piergiorgio

 No, arrivi al PC che deve accedere ai dati via USB.
E' un pc senza scheda madre??
Direi di no ^___^
Ergo potresti optare per un altro tipo di connessione IMHO, tipo l'esata
che se non supportata dalla mobo si può sempre aggiungere su schedina
aggiuntiva. O almeno FW.

 aggiuntiva. O almeno FW.
FW e` una possibilita` che avevo incluso, anche
se gli hub FW sono costosetti.
eSata non va bene, non credo esistano hub.
L'unica soluzione "fattibile" in casa, cioe` realizzabile
comprando 5 componenti da 15~20 Euro, e` USB.
E la cosa diventa conveniente nel momento in cui
funziona al meglio delle possibilita` dell'USB.
bye,
-- 
piergiorgio

 Non so se questa sia un FAQ, ma qualcuno ha
[cut]
Perchè non approfondisci questo:
http://www.tomshw.it/storage.php?guide=20070629
È un argomento che potrebbe fare al caso tuo. Facci sapere, dal momento che
ineressa anche me ;-)
Saluti

 comprando 5 componenti da 15~20 Euro, e` USB.
quindi un centinaio di euro.
con poco di piu' prendi una mother tipo asrock alivenf7 (meno di 50 
euro; scheda video integrata, 4 controller sata2, raid 0,1,5), un 
processore (una trentina di euro), ram (20 euro) e alimentatore (altra 
trentina di euro).
chiaro che se tutto ruota sulla curiosita' di vedere se l'altra 
soluzione puo' funzionare, il discorso cade.
Adriano

 mi dice nulla sul funzionamento dell'USB.
infatti non deve nemmeno nominarli ;)
ps se ancora non fossi convinto, pensa un attimo che il tutto deve essere gestito via sw, che l'usb 
comunica tutto sullo stesso canale e che le latenze di gestione dei driver usb sono almeno dieci 
volte superiori a quelle di un'interfaccia *ata. quindi le prestazioni sarebbero comuqnue pessime (e 
con pessime intendo proprio pessime) senza considerare l'assoluta mancanza di sicurezza/integrita 
del sistema.
ovvero mi sa che stai cercando un sistema per farti male ;)
ciao

 soluzione puo' funzionare, il discorso cade.
Questo e`, ovviamente un punto.
La cosa interessante sarebbe, tra l'altro, l'estrema
semplicita` della cosa, ben al di sotto di qualunque
altro soluzione, per un costo irrisorio.
Certo, bisogna vedere se e come funziona, per questo
chiedevo pareri.
In pratica, non mi interessano soluzioni alternative,
anche perche` direi che sono tutte piu` complesse o
piu` costose o meno "ridondanti".
Per es., con gli USB si ha un controller per HD, con
la MB si ha un controller per 3~4 HD, ad un costo
superiore...
bye,
-- 
piergiorgio

 ovvero mi sa che stai cercando un sistema per farti male ;)
Puo` essere, ma ancora nessuno ha spiegato perche`.
Dove sta il problema?
Che XP gestisce male gli HD USB?
Questo non e` un problema del sistema proposto, ma di XP.
Che USB ha latenze? E questo cosa causa? Perdita` di
velocita`? Perche`?
Insomma, invece di rispondere con one liner tipo: non va,
cerchiamo di fare una critica costruttiva e spiegare le
cose nel dettaglio.
Thanks,
bye,
-- 
piergiorgio

 ineressa anche me ;-)
Direi che l'idea c'e`, quello su cui si puo`
discutere e` il layer fisico: USB, FW, eSata.
bye,
-- 
piergiorgio


Effettivamente quella sarebbe forse la soluzione migliore per le tue 
esigenze...:)

 esigenze...:)
Ha il vantaggio di essere gia` pre-assemblata,
anche se bisogna vedere i costi e la compatibilita`.
bye,
-- 
piergiorgio

guarda, senza polemizzare, ma mi sembrava di aver spiegato le cose, se vuoi dettagli, google ti è 
amico ...
io da parte mia continuo a ripeterti che la cosa non funziona, poi vedi tu.
ciao

 io da parte mia continuo a ripeterti che la cosa non funziona, poi vedi tu.
Il che e` semplicemente uno spreco di tempo, se non
spieghi perche`.
Io chiedo commenti su una cosa e tu rispondi che non
funziona, ma non dici perche`, anzi mi rimandi a google.
Ti sembra una risposta utile?
A me no, perlomeno per il mio scopo e` inutile.
Quindi te lo ri-chiedo per favore: perche` non dovrebbe
funzionare? Che problemi vedi tu nella cosa?
bye,
-- 
piergiorgio

Allora, sono passato dal negozietto sotto
caso ed ho preso un hub USB 1->4.
Ho messo assieme tre vecchi HD, un Quantum
Fireball da 3.6GB, un IBM da 41GB (2001), un
Maxtor da 20GB (2000).
Ho tolto la polvere da tre bridge USB<->ATA,
Texas Instruments, Initio, Genesys Logic e
collegato il tutto al PC passando per l'hub.
Il sistema e` un po' eterogeneo, per cui fare
valutazioni sensate risulta alquanto difficile.
Le singole prestazioni, passando per l'hub con
tutti e tre gli HD collegati, sono:
QF      6.79 MiB/sec
IBM    15.62 MiB/sec
Maxtor 14.85 MiB/sec
Comunque sia, ho messo assieme il RAID-5 software,
per un totale di 7.2GB (due volte l'HD piu` piccolo).
Per prima cosa, funziona senza problemi.
Ho copiato un po' di file (18400 in 900 directory, per
un totale di 5.1GiB), e tutto e` filato liscio.
Durante la copia ho staccato dall'hub un HD a caso,
il RAID si e` accorto, ovviamente, della cosa ed ha
continuato in degraded mode.
Una volta ricollegato l'HD, sempre durante la copia,
e ri-aggiunto al RAID, questo ha iniziato a ricostruire
l'array senza batter ciglio.
Prestazioni dell'array: 13.63 MiB/sec
Un po' al di sotto l'HD piu` veloce ma due volte
quello piu` lento.
L'unico problema rilevato fin'ora e` l'hot plug
dell'hub. Questo e` bus powered e non sempre gli HD,
che sono attivi, vengono riconosciuti correttamente.
Puo` essere che usando il suo alimentatore le
cose cambino, un giorno provero`...
Qualcuno ha qualche altro test da suggerire (Linux,
no windows)?
bye,
-- 
piergiorgio

 superiore...
beh, no. Parlavi di usare un hub, quindi il controller usb e' unico.
Quello che e' replicato e' il convertitore usb/ide. Piu' che altro 
direi che e' un elemento in piu' che puo' rompersi.
D'altro canto credo che se non sei riuscito a trovare riscontri in rete 
e' perche' la cosa non ha dato risultati incoraggianti, non credo che 
sia perche' nessuno ci ha ancora pensato.
In ogni caso, se la tua curiosita' ti potera' a provare, sarei curioso 
di conoscerne i risultati.
Io non sono abbastanza esperto di linux per provare (e poi ho appena 
terminato l'altro percorso, quello con la asrock e non mi va di 
spendere altri soldi solo per uno sfizio dato anche lo stipendio 
principesco che mi elargisce lo stato ;-) ; ne' credo che windows possa 
permettere una soluzione del genere.
ciao
Adriano

 di conoscerne i risultati.
Ho postato gia` le prime esperienze al riguardo.
Tra l'altro ho scoperto che sarebbe possibile aggiungere
un HD ad un RAID-1 e trasformarlo in RAID-5, il che
risolverebbe egregiamente tutta una serie di problemi
legati all'invecchiamento degli HD.
bye,
-- 
piergiorgio

 un HD ad un RAID-1 e trasformarlo in RAID-5, il che
nel senso di cambiare al volo la tipologia raid senza perdere i dati?
Adriano

 nel senso di cambiare al volo la tipologia raid senza perdere i dati?
Esattamente.
Questo risolve il problema dell'aggiunta/upgrade
degli HD.
Ovviamente non e` una cosa specifica dell'USB, ci
mancherebbe, ma rende attraente la cosa con HD vecchi,
che potrebbero essere usati finche` non si rompono
e poi sostituiti con nuovi piu` grandi (che era l'idea
di base dalla quale si partiva).
bye,
-- 
piergiorgio

Dunque, secondo round.
Ho configurato, in aggiunta al RAID-5, un RAID-1
usando i circa 16 GB rimasti del Maxtor ed una
partizione equivalente nell'IBM.
Le prestazioni (in lettura del RAID-1 sono quelle
dell'HD piu` veloce, cioe` circa 15.50 MiB/sec.
Interessante, poiche` potrebbe essere la somma, ma
forse l'hub o l'USB stesso giocano un ruolo negativo
(il software RAID *dovrebbe* fare l'interleaving).
Ho poi combinato i due volumi RAID in uno unico,
usando LVM, in modo da avere a disposizione un HD
(virtuale) da circa 23 GB.
Su questo ho copiato circa 12500 file per un totale
di circa 15 GiB.
Durante la copia ho staccato un HD a caso dall'hub,
uno pero` che faceva parte dei due RAID.
Ovviamente i due RAID sono andati in "degraded" mode,
ma la copia ha, altrettanto ovviamente, continuato.
Ricollegato l'HD, piallate le partizioni (dd if=/dev/zero...),
rifatte le partizioni, riaggiunte ai rispettivi RAID ed
il sistema ha cominciato a ricostruire gli array.
Una volta finito tutto, ho controllato che i file fossero
corretti, md5sum degli originali verificato contro le copie.
Fino a questo punto l'unico aspetto poco chiaro riguarda
le prestazioni, anche se questa non e` proprio una cosa
inaspettata, anzi quasi quasi mi sarei sorpreso dell'opposto.
bye,
-- 
piergiorgio

 Commenti?
Potresti fare qualcosa del genere con un eSATA.
-- 
Saluti
Alec (30,72+,CT)
Powered by AMD Opteron 180 2.8GHz
Fueled by ATi - Sapphire HD3870-GDDR4
OnLine by Tiscali 8Mega
http://www.speedtest.net/result/258837978.png
 

 Potresti fare qualcosa del genere con un eSATA.
Esistono hub eSata?
bye,
-- 
piergiorgio

 Esistono hub eSata?
http://www.sataport.com/
Adriano

 
http://www.sataport.com/
Questo e` davvero, davvero interessante...
Risolverebbe un sacco di problemi, ammesso che
costi ragionevolmente...
bye,
-- 
piergiorgio


Nella pagina ci sono pure i prezzi...:))

 Nella pagina ci sono pure i prezzi...:))
Che non sono ragionevoli :-), ma cercavo se si trova
da queste parti in Euro... Senza troppo successo, al
momento almeno...
bye,
-- 
piergiorgio


Misà che è ancora merce rara in zona euro...