Newsgroup: it.comp.virtualizzazione
Titolo: Storage lowcost hiperf per vmware

Buongiorno a tutti,
come da precedenti richieste qui e altrove, sto approfondendo l'aspetto 
storage. Per fare laboratorio e per usarlo da noi (una 30ina di VM, non 
oltre), pensavo di creare uno storageserver come segue:
 
NAS con OpenFiler con:
- RAID Adaptec 71605Q 16 vie con CacheMax, con batteria e ampliabile 
256 dischi
- 2 dischi SSD 250Gb SamsungEvo in R1 per Cache (il controller raid di 
cui sopra, permette la creazione di un array in cache extender, sembra 
essere davvero performante)
- 14 WD Red Pro SATA da 4Tb, 2 raid5 da 6 dischi + 2 HotSpare
- adattatore iscsi hardware (dipendent) NetXtreme II 5709 4 porte gigabit
 
Sui nodi vmware
- NetXtreme II 5709 hardware (dipendent) 2 porte iscsi
 
(circa 3000 euro)
 
 
Quindi ricapitolando avremmo:
- un controller raid di alto livello e ampliabile a 256 dischi
- 250Gb di cache SSD (in Raid1)
- interfacce iscsi hardware
- 48Gb di storage (2xR5+2HS) SATA (ma con cache)
 
Ad un prezzo svariate unità di misura sotto rispetto a soluzioni 
commerciali (che hanno tutt'altri vantaggi, ovviamente, come il dual 
controller che qui mi manca e che trovo sia davvero la pecca maggiore).
 
Che ne pensate? E' così poi tanto folle? O a 3keuro è davvero una 
soluzione valida? Che punti deboli vedete?

 - 48Gb di storage (2xR5+2HS) SATA (ma con cache)
 
Pardon, ovviamente intendevo 48Tb :)

 Che ne pensate?
 
Che sei sbilanciato su iSCSI. Se il controller è furbo, 2 ssd raid1 in
lettura possono fare un GB/s. Se lo switch la supporta, perchè non una
scheda di rete 10GB?
 
sbilanciamento di saluti

 Che ne pensate?
 
Che dal costo hai omesso il lavoro per metterlo in piedi, il supporto, 
ecc.ecc.
 
Una QNAP TVS-1271U-RP, con 10 dischi da 6TB (48tb netti), cache SSD 
interna 128+128 e dual 10gbe, viene a costare meno di 5000 euro.
E' tutto fatto, correttamente supportato e certificato (
p.es
. su VMware 
hai VAAI), sicuramente funzionante e non devi perder tempo se non per 
inserire i dischi nelle slitte e configurare i volumi.
 
Se invece vuoi andare su prodotti seri non spendi comunque molto di più.
Una Huawei Oceanstor ST2200 con 10 dischi da 6TB e 2 SSD da 200 dovremmo 
essere sotto gli 8k (in questo momento non mi funziona il configuratore 
per vedere il prezzo corretto), ma parliamo appunto di uno storage con 
doppio controller ecc.ecc.
 
 
-- 
Flavio Visentin
 
Scientists discovered what's wrong with the female brain: on the left
side, there's nothing right, and on the right side, there's nothing left

 inserire i dischi nelle slitte e configurare i volumi.
 
ottimo, mi documento subito. Come performance ritieni sia una soluzione mediamente valida? La cache ssd dovrebbe sopperire di molto ai picchi delle latenze degli economici SATA, che ne pensi

 La cache ssd dovrebbe sopperire di molto ai picchi delle latenze degli economici SATA, che ne pensi
 
Decisamente sì. Di solito se c'è la cache SSD io metto direttamente i 10 
dischi in raid6. Se però tu vuoi usarla per macchine di produzione che 
scrivono tanto e necessitano di performance ti consiglio due raid 5 da 
4+1 dischi.


> ottimo, mi documento subito.
 
Mi è appena passata sott'occhio una QNAP refurbished da 100TB con 
garanzia 1 anno a meno di 4k€



 
In effetti stavo davvero reinventando la ruota, a poco più di una 
soluzione artigianale, tutto sommato qnap ha ciò che serviva.
 
Hai qualche dettaglio di questa SAN (intendo anche commerciale)? Ti 
mando email aziendale su linkedin :)

 4+1 dischi.
 
stavo riflettendo, a conti fatti (ho preso un 8 baie):
 
R6 di 8 dischi sata = Read 560 IOPS, Write 93 IOPS
R5 di 6+6 dischi = Read 280 IOPS cad, Write 70 IOPS cad
 
Come affidabilità, un R6 di 8 dischi dovrebbe statisticamente essere 
molto più affidabile di due Raid 5 da 4 dischi. Come performance, tutto 
sommato in write potrebbe essere meglio avere più IOPS utilizzabili 
sullo stesso array per gestire i picchi.
 
Come soluzione, anche in produzione con macchine che frullano, potrebbe 
andare bene anche un R6 di 8 dischi. Che ne pensi?
 
Il Raid5 su 8 dischi è, secondo me, offlimits come affidabilità (anche 
se sto mettendo WD RE).
 

 se sto mettendo WD RE).
 
Sì. Dischi troppo grandi per fare un unico raid.


 Sì. Dischi troppo grandi per fare un unico raid.
 
quindi tu con 8 dischi 4Tb faresti 2 R5 piuttosto di 1 R6 univoco? Pur 
avendo 120Gb di cache ssd?
 
Calcola che ora ho le stesse 15/20 macchine virtuali su un R5 di 4 
dischi ed ho 25ms di latenza media (tutto sommato sta andando bene) con 
256Mb di cache.
 

 avendo 120Gb di cache ssd?
 
No. Farei un raid6 :)
Ma come detto avrei acquistato un 12 bay con 10 unità per fare due raid 
5 da 4+1 dischi ciascuno.


 5 da 4+1 dischi ciascuno.
 
 
Ti ringrazio.
 
Ne approfitto visto che conosci i qnap e li configuri sovente, sto 
seguendo la best practices 
https://www.qnap.com/i/en/trade_teach/con_show.php?op=showone&cid=64
 per 
collegarlo con vmware.
 
Devo dire che non mi quadrano alcune cose:
- non fa cenno ai settori, che invece di 512byte sto configurando in 4K 
(che su vmware dovrebbe essere più performante?)
- non fa cenno ai jumbo frame, che invece sto abilitando a 9000
- non capisco perchè mi fa fare più LUN per poi mettere il datastore in 
extend (non era meglio farne una sola? Dove sta il vantaggio?)
- fare il teaming di rete è del tutto indifferente lato storage, perchè 
tanto poi su vmware metto in roundrobin, giusto? Alla fine lui trova 
comunque tanti path quante schede di rete collego
- lui fa fare una lun "speciale" per collegare i dischi in raw... ma io 
non ne sento la necessità, onestamente. Mi sono perso qualcosa?
 
Scusami Flavio se abuso del tuo tempo, ti ringrazio in anticipo per 
tutto. Cena pagata :)
 
 
 
@SAP: sicuramente questo interessa anche il tuo 3ad.

 non ne sento la necessità, onestamente. Mi sono perso qualcosa?
 
Non capisco questa cosa... screenshot?


 Non capisco questa cosa... screenshot?
 
come sopra, in riferimento alla best practices di qnap del link
 
 
 

 modalità di recente?
 
No, mai provato. Solo da un singolo cliente ho le schede in etherchannel 
(anche sullo switch ovviamente) ma perché usa la NAS sia come iSCSI che 
come NFS.


 grosse di 2TB. Peraltro anche VMware sconsiglia di usare gli extent.
 
ottimo, mi sono tolto un bel dubbio. Farò comunque più datastore, ma 
separate e per bilanciare le macchine.
 
 
 
Grazie ancora.