Newsgroup: it.comp.hardware.storage
Titolo: RAID5 con mdadm: un disco spare per forza?

Salve a tutti,
volevo creare un array con 6 dischi WD15EADS (1.5TB), ma non riesco a capire se mdadm me lo costruisce come voglio o no: per qualche motivo, vuole metterci dentro uno spare! Con RAID1 e 6 non mi era mai successo...
Ho costruito col comando:
# mdadm --create /dev/md0 --level=5 --chunk=1024 --raid-devices=6 --spare-devices=0 /dev/sd[bcdefg]1
ma /proc/mdstat mi da' [UUUUU_] (5 attivi, uno spare), e un "mdadm --detail" mi da':
active devices: 5
working devices: 6
failed devices: 0
spare devices: 1
array size: 7500 GB
e mi segna i dischi /dev/sd[bcdef]1 (raid devices 0--4) come "active sync", il raid device 5 come "removed", e /dev/sdg1 come "spare".
Ora, gia' questo mi e' incomprensibile: se uno e' di spare, come fa la dimensione a essere 5*1.5TB = 7.5TB ?? Sembra che abbia la dimensione giusta, ma perche' uno dei dischi e' marcato come spare invece come un normale disco dell'array?
Ho provato a rimettere dentro il sesto disco con:
# mdadm /dev/md0 --remove /dev/sdg1
# mdadm /dev/md0 --add /dev/sdg1
e ora me lo mostra come "spare rebuilding", col nome /dev/sdg1 (giusto). Ma un
# mdadm --detail --scan
risponde con
ARRAY /dev/md0 metadata=0.90 spares=1 UUID=ed0e4151:f8cb5c2f:5165fe8b:a1e6e63a
cioe' insiste a dire che uno dei dischi e' spare!
E' successo a qualcuno? Ha senso?
BTW, sono su Debian testing (2.6.30.2-amd64), mdadm versione 3.0.3-2 .
Ogni suggerimento e' benvenuto :)
Pleg

 /dev/sd[bcdefg]1
premsesso che non conosco mdadm forse
--spare-devices lo devi usare dopo aver specificato
i dischi di --raid-device, o sbaglio ?
# mdadm --create /dev/md0 --level=5 --chunk=1024
--raid-devices=6 /dev/sd[bcdefg]1 --spare-devices=0
per quanto riguarda il disco disattivato, hai provato
a creare array con meno dischi e vedere se il bizzaro
comportamento si rirpresenta e se sempre sullo stesso
disco fisico ?
come mai hai deciso per un chunk size cos� grande (1MB)?
ciao
luca

 come mai hai deciso per un chunk size cos� grande (1MB)?
Piu' che altro per sperimentare un po'.
Diciamo che avrei dovuto costruire un array in raid6 con 8 dischi (chiesi
info qui un po' di tempo fa :) e via... questo 10 giorni fa... non c'e'
ancora stato verso: freeze del pc misteriosi, ogni genere di problemi...
quindi ormai sono in fase di debug dell'hardware e del software, e non so
se riusciro' mai a costruire la configurazione che avevo in mente.
Sulla rete ho trovato qualcuno che ha fatto dei test su una configurazione
(e utilizzazione) simile alla mia e aveva trovato che quel chunk size era
ottimale. 
Pleg

 ottimale.
ah, ok, secondo me farei le prove con valori safe, 64k o 128k
ed una volta accertato il funzionamento del tutto mi preoccuperei 
dell'ottimizzazione
buona fortuna, considerando la spesa di 650/700E per i dischi ...
capisco il tuo stato d'animo ...
ciao
luca

 capisco il tuo stato d'animo ...
Gia' :(
Quantomeno non ho speso altrettanto di controller... se avessi preso un
controller figo per fare il RAID in hardware, spendendo il doppio, e avessi
avuto problemi, mi sarebbero girate le palle il doppio (il giramento e'
lineare coi dindi spesi :)
Pleg

paio di parametri vuol dire perderci 1--2 settimane :)
Perch� non fai una prova con una VM? Potresti usare dei dischi molto
piccoli, ad es 200MB l'uno; questo ti permetterebbe di
creare/distruggere rapidamente l'array per fare le prove con MDADM e
verificare il comportamento dello spare.

 E' successo a qualcuno? Ha senso?
Boh :-)
Visto che stai facendo dei test, perch� non provi assume-clean?
Non ricordo se funziona con i raid5...
-- 
ValeRyo
XT600 "Katoki Pajama" - 
http://www.slimmit.com/go.asp?7Y9
CBR600F "Cerbero" - In vendita - 
http://www.slimmit.com/go.asp?7X0
GamerTag: 
http://card.mygamercard.net/IT/nxe/ValeRyo76.png
 

 Alla fine del rebuild avrai [UUUUUU].
Non so... quando avevo provato il raid6 con 8 dischi, erano tutti e 8 "Up"
fin da subito, anche mentre andava la ricostruzione. Non ho mai avuto
spare, nemmeno all'inizio.
Cmq, alla fine e' andato tutto a posto, adesso sono tutti 'U' e nessuno
spare :)
Pleg

 verificare il comportamento dello spare.
*PACK*
Quello ero io che mi tiravo una manata in fronte esclamando "Ma quanto sono
coglione??"
Eggia', fare partizioni piccole per sperimentare non era un'idea tanto
difficile :))
Thx!! Faro' un po' di bei test divertenti :))
Pleg

 coglione??"
LOL

 nessuno spare :)
Ecco :-)
Comunque, per la mia esperienza, mai pi� raid5 software.


 Comunque, per la mia esperienza, mai più raid5 software.
se lanci il sasso non nascondere la mano.. enuncia, definisci
S.

> Comunque, per la mia esperienza, mai pi� raid5 software.
E infatti anche a me non convince tantissimo e volevo andare di 6...
purtroppo, questi problemi mi hanno per ora sbarrato la strada :(
Pleg

> se lanci il sasso non nascondere la mano.. enuncia, definisci
Quello che posso dire, dal punto di vista teorico, e' che mi preoccupa la
resistenza ad un solo guasto:
* colla dimensione dei dischi di adesso, ci vuole parecchio a ricostruire
l'array (come dicevo, a me ~10 ore con sistema completamente idle; se uno
ha un sistema di produzione che continua a servire richieste nel frattempo,
potrebbero volerci giorni), e in quella finestra sei vulnerabile... se
consideri che: probabilmente tutti i dischi sono stati comprati comprati
insieme (stesso lotto di produzione), hanno funzionato tutti nelle stesse
condizioni operative (temperatura, vibrazioni, ecc.), collo stesso
carico... la probabilita' che se ne rompa un altro durante il rebuild non
e' cosi' bassa come si penserebbe (le rotture dei dischi NON sono variabili
stocastiche indipendenti :) c'e' una bella correlazione tra i guasti)
* potresti avere dei cluster danneggiati, e accorgertene solo quando e'
troppo tardi: un disco si rompe, la parita' di una altro e' danneggiata, te
ne accorgi solo quando fai il rebuild -> corruzione dati (in pratica,
equivale a due rotture su quel cluster, irrecuperabili)
* errore umano: si rompe il disco A, viene sostituito il disco B, ci se ne
accorge quando e' troppo tardi -> dati distrutti (doppio guasto). MAI
sottovalutare il potere distruttivo dell'uomo :))
Cmq queste sono solo considerazioni teoriche, non ho mai avuto un sistema in
produzione industriale, solo uso casalingo.
Pleg

 se lanci il sasso non nascondere la mano.. enuncia, definisci
Mah, non ho dati precisi, ma quando l'ho usato non ne sono stato
per nulla contento: rallentamenti, dischi che si scollegavano senza
motivo, access time penosi.
Prove fatte un paio d'anni fa con un Pentium D e dischi sata da
320Gb, su schede madri asus.
Quando accedevo a quella partizione mi sembrava di accedere
al 20Mb (si, Mb) che avevo sull'amiga :-)
Stesso hw, raid1, dischi veloci come schegge.
Sar� stato sfortunato io, oppure non avr� avuto tempo a sufficienza
per il tuning. Se fai qualche test e ne posti i risultati te ne sar� grato.


 grato.
Si' e' quello che voglio fare, appena ho un po' di tempo (leggi: appena
finisco gli esami :)
Provero' un RAID5 con 6 dischi, e se riesco a farlo andare un RAID6 con 8
dischi. Sto sperimentando con bonnie++ (mai usato prima), se hai delle
impostazioni che vorresti vedere dimmele (non so bene come usarlo, magari
sto usando setting del cacchio :)
Per entrambi i setup faro' quantomeno una spazzolata di diversi chunk size
(ad es. da 128 kiB a 1 MiB). Poi se ho tempo vorrei provare a vedere le
differenze tra inizio e fine del disco.
Se riesco a fare il tutto postero' i risultati su questo ng, a inizio anno
prox.
Pleg

 
Tanto col 6 cosa cambia se lo fai "software" pure quello? :)

> Tanto col 6 cosa cambia se lo fai "software" pure quello? :)
I motivi che ho elencato nell'altra mail.
Pleg


Si ok, ma la gestione a livello software rimane la medesima anche se
usi un array 6... ovviamente li avrai la doppia paritï¿œ.

 purtroppo, questi problemi mi hanno per ora sbarrato la strada :(
La via dei tester � sempre ardua :-)


 size (ad es. da 128 kiB a 1 MiB).
Ricordati di fare delle prove consistenti, a volte i test vanno bene e in
produzione ti viene da dar fuoco alle macchine.
Esempio:
due openfiler in cluster, in locale hanno un raid0, sopra c'� drbd e ancor
pi� su lvm. Alcuni volumi LVM vengono esportati in iscsi.
Ho fatto prove di tutti i tipi, bonnie++, hdtach, samba, nfs (trovi dei miei
messaggi in it.comp.os.linux.*) e andava tutto bene.
Appena li ho messi in produzione, i dischi sotto drbd si disconnettevano
ed drbd andava  in diskless. Dopo vari test hardware, cambio di cavi,
cambio di dischi, ci mancava solo il rituale con gallo sgozzato a
mezzanotte, ho scoperto che il problema era il chunk size, l'ho messo
a 128k e ho risolto.


 a 128k e ho risolto.
Si puï¿œ dire quindi che in generale un valore pari a 128KB ï¿œ quello che 
da maggiore "affidabilitï¿œ"?

 Anche peggio, il 6 temo richieda maggiori risorse computazionali.
Ah quello sicuro, parlavo della robustezza.
Pleg

 da maggiore "affidabilit�"?
Nel mio caso, si.
Per� finch� non ho usato iscsi con initiator windows non ho avuto problemi.
Magari domani uso nfs su xfs montato da client osx e scopro che 128k
manda tutto a donnine allegre :-)
Quando avr� pi� tempo voglio rifare un paio di nas come questi, e testarli
meglio. Il problema � che ho
sd[abcdef]
su questi ci metto il raid0 software
su mdX ci metto drbd
su drbdX ci metto lvm
e per finire condivido alcuni volumi lvm con iscsi su un bond a tre gigabit
ci sono troppe variabili per fare un'analisi precisa nel poco tempo
che avevo, quindi ho dovuto restringere il campo al livello pi� evidente:
il drbd che andava in diskless.
Ora che scrivo mi viene un bel dubbio: perch� poi via rete riusciva a
scrivere, visto che il disco dall'altro lato era identico?


 Ah quello sicuro, parlavo della robustezza.
Della robustezza me ne preoccupo un po' (solo un po') meno, nel mio
caso � pi� importante la rapidit� di accesso al dato. Se voglio
robustezza uso raid1 e pazienza per lo spreco.
Con uno spare dovresti essere ragionevolmente tranquillo, comunque
dipende dall'ambito di utilizzo: tu per cosa prevedi di usare questo
array? I backup su cosa li fai?


 array? I backup su cosa li fai?
Semplice uso casalingo :)  multimedia server. Per il backup ho altri dischi
(quelli vecchi, che usavo prima), una semplice copia di tutto e messi via
in luogo separato. La cosa funziona bene perche' il tasso di cambio dei
dati e' praticamente nullo (una volta che ho messo su un film/canzone,
rimarra' in archivio per sempre :)
Pleg

"Pleg" <25mV@300.K> ha scritto nel messaggio
news:hfht6g$nl$
1...@usenet.stanford.edu

E uno spare non lo trovi sufficiente? tanto sar� spento finch� non
lo usi, quindi meno soggetto ad usura.
Se poi temi per eventuali sovratensioni puoi metterlo in un cage
che ti consenta di tenerlo elettricamente spento ed accenderlo
solo quando necessario, ma perdi la ricostruzione automatica,
ed esagerando potresti prenderlo proprio di altra marca, cos�
eventuali bug tipo i 7200.11 te li salti a pi� pari.
Se il case ha 6 bay esterni da 5"1/4 potresti mettere due box
da 5 dischi, cos� non devi neppure aprire il case per lo swap.
Nel tuo caso credo che il tempo di accesso sia fondamentale, sai
che noia a girare per cartelle che ci mettono mezz'ora ad aprirsi?
