Newsgroup: it.comp.os.linux.sys
Titolo: RAID5 over iSCSI

Nessuno di voi ha fatto una follia tipo un raid 5 composto da device
esportati tramite iSCSI?
4 server, 3 dei quali compongono 3 storage identici (con un raid5 nei
dischi o un LVM) da usare come singoli target iSCSI, poi su un quarto
host si configura iSCSI, si accede ai 3 target e gli si piazza sopra
un raid5 software da esportare ulteriormente tramite iSCSI.
iSCSI o AoE o FCoE, il concetto è lo stesso.
Online se ne inizia a parlare.



Mi pare abbia più di qualche punto debole.
Premesso che non mi è mai capitato di dovermi imbattere in casi che 
necessitano una soluzione del genere (normalmente è tanto se i clienti 
hanno 1 server degno di tal nome e non un pc carrozzato), personalmente, 
considerando murphy, avrei due server initiator configurati in cluster 
(ipotizzo che tu voglia fare il raid 5 tra server casomai uno dei 3 
schiatti). Dopo di che bisogna sempre vedere che succede se uno dei due 
initiator muore (mi viene in mente la cache in scrittura).
A questo punto, sui singoli target farei un raid 0 (tanto ho comunque la 
rindondanza tra i vari nodi).
Infine, se un cliente ha bisogno di così tanto spazio e/o alte velocità 
di accesso ai dati, probabilmente avrà anche molto lavoro, quindi schei. 
Di conseguenza io, cercherei in vario modo (incluso terrorismo 
psicologico) di convincerlo a prendersi una san decente che avrà 
sicuramente meno rogne.
Al limite, andrei su una soluzione più semplice/classica con drbd.
Con hw di recupero, per vedere le funzionalità, avevo configurato drbd su 
due nodi attivo/passivo che esportavano delle lun iscsi.
Se poi indirizziamo il discorso a livello di "vediamo che si riesce a 
fare", allora è un'altra cosa.

 fare ed abbiamo comperato troppi NAS"?
Semplicemente puoi aggregare piï¿œ storage in un singolo grosso storage.
Se i nas che hai tengono solo 2 dischi, per dire, puoi benissimo 
aggregarli in un raid 5 arrivando a molti piï¿œ giga.
Le equalogic funzionano in maniera simile.
Comunque sia, era una semplice curiositï¿œ.

 aggregarli in un raid 5 arrivando a molti piï¿œ giga.
Non ha senso aggregarli in raid5. Puï¿œ avere un senso limitato aggregarli 
linearmente o in Raid0, ma IMHO, sebbene tecnicamente fattibile, ï¿œ una 
soluzione stupida; costa meno acquistare direttamente uno storage piï¿œ capiente.
-- 
Flavio Visentin
Ubuntu in Zulu significa "Non so usare Debian". (cit. CtRiX)

 soluzione stupida; costa meno acquistare direttamente uno storage 
piï¿œ capiente.
Con uno storage piï¿œ capiente teoricamente avresti meno affidabilitï¿œ, 
visto che ï¿œ solo uno.
Comunque concordo con te. Online certa gente sta sperimentando questa 
soluzione con davanti xenserver

 visto che ï¿œ solo
No. Hai piï¿œ affidabilitï¿œ visto che hai meno cose che possono rompersi.
Se ricerchi l'affidabilitï¿œ totale allora puoi andare di repliche su uno 
storage remoto, ma si tratta di soluzioni finalizzate al DR.


 storage remoto, ma si tratta di soluzioni finalizzate al DR.
Be uno storage remoto, come dici te, è più finalizzato al DR quindi
non concorre ad aumentare la disponibilità.
Una IBM DS3000, ad esempio, ha tutto ridondato, alimentatori,
controller, dischi, ventole, ma il backplane?
Presumo sia in comune tra ambo i controller, un malfunzionamento
al backplane (un banale corto) ti atterra la SAN. O sbaglio?

 No. Hai piï¿œ affidabilitï¿œ visto che hai meno cose che possono rompersi.
E' evidente che avere due apparati ï¿œ piï¿œ sicuro che averne uno solo:
conta la probabilitï¿œ di rottura _contemporanea_

 iSCSI o AoE o FCoE, il concetto � lo stesso.
E perch�? HA? troppe poche macchine da manutenere?
-- 
ValeRyo
XT600 "Katoki Pajama" - 
http://www.slimmit.com/go.asp?7Y9
GamerTag: 
http://card.mygamercard.net/IT/nxe/ValeRyo76.png
 

 al backplane (un banale corto) ti atterra la SAN. O sbaglio?
Sbagli. Ci sono due backplane e i dischi hanno un doppio canale (dual port 
hdds). Se arriva un fulmine che ti fotte tutto si rientra nel disastro.


 conta la probabilitï¿œ di rottura _contemporanea_
La tolleranza al singolo guasto ï¿œ identica tra le due configurazioni.
La tolleranza al doppio guasto per quanto riguarda i dischi ï¿œ la stessa 
(basta usare il raid 6), per la parte rimanente invece in genere non rientra 
nelle condizioni normalmente previste da soluzioni di alta disponibilitï¿œ ma 
rientra nelle soluzioni di disaster recovery.
Per cui raddoppiare lo storage non comporta un aumento di affidabilitï¿œ del 
sistema in condizioni normali, ma aumenta solo la probabilitï¿œ dei guasti.
Questo a meno di situazioni particolari che comunque non sono quelli dell'OP.


 dell'OP.
Premessa: sono semplici riflessioni della domenica mattina con il mal di 
testa :-)
Non mi pare abbia senso, a meno che il tutto non sia pensato per girare su
hardware really-low-cost, un po' come il google file system pensato proprio
per girare su hardware comune.
Qui di fianco a me (si, sono in ufficio per un'assistenza) ho un pacco di 
macchine
"di risulta" dall'ultimo aggiornamento dei client dell'ufficio. Si tratta 
comunque di
P4 3Ghz con 2Gb di ram, cose che con un po' di downvolt e alimentatori di 
qualit�
potrei portare a consumare poco.
Ne prendo cinque (no-cost, anzi do' un senso alla loro esistenza), in tre ci
metto un backplane da 100 euro sata hot-swap da 5 dischi con 3 caviar black
da 1TB (costo: 100x3 + 70x9), negli altri due due dischi interni che gi� ho, 
in
raid 1.
I tre con il backplane li configuro in raid0/lvm/quelche� ed esporto 
l'intero volume
in iscsi, il quarto e il quinto virtualizzano in HA un openfiler che importa 
quei
tre, ne fa raid5 e lo riesporta come pi� mi piace.
Risultato: ho speso quasi mille euro, ho 5 macchine accese in pi� e ho 6Tb
a disposizione, con il vantaggio che pu� rompersi uno dei "dischi" (inteso 
come
macchina con i dischi) oppure uno dei due initiator senza che debba fermare 
il
lavoro. Non mi convince mica :-/


 dell'OP.
Non credo proprio: si parlava di mettere 3 devices iSCSI in raid5
software o sbaglio?

 software o sbaglio?
Sï¿œ. Si parla di fare raid 5 di storage iSCSI con dischi in Raid 5.
Quindi un bellissimo Raid 55 ....


 Quindi un bellissimo Raid 55 ....
forse ho capito male, si tratta di storage fisicamente distinti presumo...

 cosa?
Nel cambio hardware incide parecchio la destinazione d'uso e l'ammortamento 
della macchina (senza contare i costi accessori di utilizzo). Personalmente 
in ufficio mi permetto di tenere spento un IBM AS/400 (modello 720) in 
quanto non solo non ho una destinazione d'uso da dedicargli (il nostro 
business non e` incentrato su ambienti siluppati per quella macchina, anche 
se abbiamo avuto a che farne in piu` di una occasione), i costi di consumo 
energetico sarebbero on indifferenti (per quel modello i consumi si 
attestano mediamente ad 1.5Kw)
Enrico

 forse ho capito male, si tratta di storage fisicamente distinti presumo...
Sï¿œ, sono storage fisicamente distinti. Giusto per farti comprendere meglio 
quel che intendo approfondisco un po' l'argomento.
Ogni singolo storage iSCSI garantisce dalla rottura di uno o due dischi in 
base al fatto che sia in raid 5 o raid 6 (o raid 5 + HS), quindi per la 
parte dischi si ï¿œ giï¿œ tutelati a sufficienza.
Se si tratta di storage di fascia bassa potrebbero avere un solo controller, 
quindi quello potrebbe essere il SPoF della soluzione.
In genere per ovviare si sceglie uno storage con due controller dato che uno 
storage serio costa meno di due storage mediocri messi in mirror per dar 
loro ridondanza.
Quest'ultima soluzione tuttavia potrebbe essere vantaggiosa qualora i due 
storage fossero parte di una soluzione di DR (anche di basso profilo), 
p.es
. 
se fossero localizzati in due palazzine distinte di un Campus connesse tra 
loro in fibra.
La soluzione di cui si discute invece ï¿œ quella di mettere gli storage tra 
loro in Raid 5 (quindi devono essere almeno 3). Cosa comporta ciï¿œ? Comporta 
innanzitutto che se se ne rompe uno continuo ad operare con gli altri due, 
ma quando sostituisco quello guasto avrï¿œ da risincronizzarlo con i 
rimanenti, cosa che comporta un traffico enorme. Se ho 3 storage le 
probabilitï¿œ di guasto sono una volta e mezza rispetto ad averne due e la 
tolleranza ai guasti ï¿œ la stessa dato che posso permettermi che se ne rompa 
uno solo.
Da un punto di vista dell'organizzazione ï¿œ anche peggio. Se ho tutti gli 
storage in un singolo luogo non ho nemmeno una soluzione di DR di basso 
profilo; ibidem se ne metto due da una parte e uno dall'altra, dato che se 
mi va a fuoco il CED contenente i due ho perso tutto.
Se li metto in 3 luoghi diversi ho pari ridondanza ma costi maggiori.
Quindi mettere storage diversi in raid5 ï¿œ solo un modo bizzarro e/o stupido 
di buttare soldi e aumenta solo le probabilitï¿œ di guasti senza offrire 
maggiori garanzie.


 dimensione dei dischi) sarebbe costata di meno.
Appunto, ecco perch� il tutto non mi convince.
O � un progetto di studio e sviluppo, e allora ha senso, oppure � un
costo inutile sia come consumi che come ingombro e manutenzione.


 Quindi un bellissimo Raid 55 ....
Raid 5 o Raid 0 o LVM, cambia poco.
Era giusto una idea sulla quale discutere, non lo
devo fare.

 forse ho capito male, si tratta di storage fisicamente distinti presumo...
No, mi riferivo a storage fisicamente presenti nello stesso rack.

 maggiori garanzie.
Non focalizzarti sul RAID-5.
Può essere benissimo un RAID1 sui singoli nodi ed un LVM sugli
esportatori.
Per quanto riguarda lo storage mediocre. No, non mi riferivo a storage
bensì l'idea era riferita ad un pool di normalissimi server da X euro
dischi SATA. Va da se che non avrebbe senso uno storage mono-controller
da 3000 euro.

 offrire maggiori garanzie.
Sono d'accordo che avendo danaro da investire c'ï¿œ modo di fare di
meglio, ma non si puï¿œ dire che di per sï¿œ tale configurazione aumenti
solo le possibilitï¿œ di guasto.