Newsgroup: it.comp.os.linux.sys
Titolo: drbd+heartbeat fra vm

Qualcuno l'ha fatto? Funziona? Ci sono controindicazioni note e
soprattutto ignote (so che in quanto tali, ontologicamente, e`
impossibile che possiate esprimerle, ma vi prego di sforzarvi di
superare il livello dell'essere)?



le controindicazioni dipendono da cosa ci vuoi fare.


Le stesse che farei con pm.

 Che non serve ad un tubo ?
Ma oltre a questo?
Era quello che mi stavo chiedendo, ma la risposta era, ma anche no.
Nel senso che se io ho due nodi fisici con delle VM sopra, ma non uno
storage condiviso e non tools, strumenti, sw che consentano di
implementare la HA a livello dei due nodi fisici (
p.es
. con migrazione
a caldo da uno all'altro delle VM al venir meno di un host fisico),
allora puo` anche aver senso avere 2 VM sui due nodi fisici con
heartbeat e drbd, o no?
Non sono retorico, sono anche aperto a sentirmi rispondere o no, se
spiegato.
Andrea

 di investire oculatamente.
Lo storage efficiente c'e` 850 GB di array in RAID 10 di dischi SAS
15.000 rpm per ognuno dei due nodi fisici, solo che e` locale, non
condiviso, perche analogo oggetto condiviso raddoppiava almeno il
costo e costituiva uno SPoF a meno di ridondarlo, ma a quel punto il
costo non duplicava, ma quadruplicava.

twistedbrain wrote:

Fondamentalmente molta gestione in più. Ma a livello concettuale nessun 
problema.
-- 
Vide

 costo non duplicava, ma quadruplicava.
Uno storage condiviso � *gi�* interamente ridondato di suo, dagli 
alimentatori ai controller, ai backplane, ai dischi, alle connessioni.
A meno di trovarsi in condizioni di disastro (
p.es
. va a fuoco il CED), caso 
in cui � da prevedersi una certa infrastruttura ridondata e distribuita che 
comunque al momento non mi pare tu abbia, lo storage non rappresenta mai un 
SPoF.
-- 
Flavio Visentin
Ubuntu in Zulu significa "Non so usare Debian". (cit. CtRiX)

 SPoF.
E invece almeno in parte ce l'ho perche' ho due sale CED (diciamo due
stanze chiuse a chiave senza termosifoni e con un condizionatore)
unite da fibra, in due edifici diversi a circa 200 metri uno
dall'altro, per cui effettivamente avere uno storage condiviso o due
cambia perche' se ne ho uno solo e va a fuoco la sala CED in cui si
trova, vanno a fuoco anche tutti i miei dati vivi (ci sono ancora i
backup su LTO in banca), ma vorrebbe dire che mi perdo almeno una
settimana di lavoro - forse piu` a prenderne uno uguale e a
ripristinarlo e magari altrettanto di dati persi dall'ultimo backup
full disponibile al ripristino.
In ogni caso, se ne usassi uno solo, oltre ad essere meno preparato in
caso di disastro, rimane il fatto che dovrei spendere almeno il doppio
di quanto e` stato speso e che comunque mi consente di raggiungere un
buon livello di disponibilita` anche in caso di disastri (avrei il
dato sia sui dischi dei due server - anche se la meta` sarebbe
aggiornata al giorno prima, sia su uno storage intermedio di scambio
fra i due nodi - di minor pregio, prezzo, prestazioni - 
p.es
. un
qnappino da 700 EUR magari condiviso in  NFS).
Andrea

 unite da fibra, in due edifici diversi a circa 200 metri uno
In questo caso allora cambia, perch� dovresti avere effettivamente due 
storage diversi e replicati. C'� da dire che comunque si tratterebbe di una 
soluzione di ben altro profilo.


 soluzione di ben altro profilo.
Basterebbe aggiungere poche decine di migliaia di EUR e chi non li` ha
oggigiorno?!?.
La mia idea e` molto semplice: qnappino in RAID1 da 700 EUR (o chi per
lui) in sede 1,
stessa cosa in sede 2, mirrorati fra di loro, con sopra le immagini
delle VM della notte prima
(non ho sistemi H24, sarebbero un'area di backup delle VM e di
transito), 2 server (uno in 1, uno in 2) ognuno con sopra la meta`
delle VM funzionanti ed eventualmente l'altra meta` spente, import
degli export di quelle dell'altro nodo della notte prima.
Gli stessi qnappini funzionerebbero con export NFS come origine di
backup su LTO attaccato ad un'ultima macchina.
Fra le due sedi di sono 2 fibbre Gbit.
In caso di disastro mi sento in una botte de fero, con nell'immediato
la meta` delle VM che continua a funzionare e in poche decine di
minuti l'altra meta` che riprende a funzionare con la perdita massima,
solo su queste, di una giornata di lavoro. Non sara` propriamente HA,
ma costa alcune decine di migliaia di EUR in meno e dovrebbe
funzionare. Se pero` in uno scenario del genere riuscissi a mettere in
HA con heartbeat e drbd 2 VM Linux, sarei anche piu` felice, purche'
la cosa non possa sfociare per ragioni a me ignote in un bagno di
sangue.
Andrea

 sangue.
Non ï¿½ un bagno di sangue, tranquillo.


 oggigiorno?!?.
Quanto ti odio per questa frase :-)
E' da molti mesi che, in una situazione di CED semplice con "n" server 
(due decine al massimo) sto spingendo per soluzione altrettanto semplice 
ma pi� efficiente e sicura con "due server gemelli + SAN FC condiviso 
(il tutto da usare con vmware)".
Bene, mi fanno fare il progetto... dopo un bel po' di insistenze e mesi 
di tempo mi prendono uno dei due server grossi cos� posso "giocare con 
vmware" e fargli vedere l'utility� delle VM.. e proprio ieri ne viene 
fuori che non se ne fa nulla, non ci sono i soldi. Se un server si 
rompe? Risposta: "facciamo come abbiamo sempre fatto sostituiamo quello 
che si � rotto".
E si parlava proprio di poche decine di migliaia di euro.
Cazzarola come mi rode, i benefici di uno storage condiviso proprio non 
entrano in testa.
Adesso mi stampo in grande le parole di ZiPMaN e ne faccio un quandro:
"Sono fondamentalemente due macchine completamente distinte in un unico 
chassis.
Ogni controller ha una propria CPU, una propria cache, una propria 
batteria, una propria connessione di rete, una propria connettivit� 
esterna (SAS o FC) e pure l'accesso ai dischi � separato ed avviene da 


 ha scritto nel messaggio
news:28b766f5-fa57-4dfc...@j9g2000vbp.googlegroups.com

Con xen ho fatto due dom0 con drbd che virtualizzano un domU,
pu� essere utile?
-- 
ValeRyo
XT600 "Katoki Pajama" - 
http://www.slimmit.com/go.asp?7Y9
GamerTag: 
http://card.mygamercard.net/IT/nxe/ValeRyo76.png
 

 può essere utile?
Non lo so, prima dovrei riuscire a capire quello che hai scritto.
Nel senso i 2 dom0 erano su host fisici diversi? Se si` perche'? Se no
perche'? Il domU fisicamente dov'era? e il suo disco era su drdb?
Perche' hai fatto cio`?
Ciao

 Perche' hai fatto cio`?
Ma soprattutto: chi siamo? dove andiamo? e chi ce lo fa fare? :-)
Due macchine fisiche, un lv lvm con sopra drbd.
Macchina virtuale xen che usa quel device drbd come disco.
Heartbeat + pacemaker che gestiscono il cluster con la live migration.
Il domU � dove capita, in genere � su cluster1.


 Heartbeat + pacemaker che gestiscono il cluster con la live migration.
Cluster di VM o di macchine fisiche con Xen come sistema operativo?
Mi spiace, ma sono pococapone.

 Cluster di VM o di macchine fisiche con Xen come sistema operativo?
La seconda.


 accorge, il tutto in modo abbastanza semplice e poco dispendioso.
Perche' devo mettere giu` le risorse? Se faccio un cluster fra 2 VM
sui due host diversi con drbd sui loro devices virtuali (ammesso che
si possa) quando il nodo fisico su cui e` una va giu` dovrebbe
continuare sull'altra senza colpo ferire. L'unico problema che vedo,
oltre alla possibillita` di implementare questa configurazione e` di
prestazioni nel senso che mi sembra ci siano un bel po' di strati di
sw fra i dischi effettivi degli host fisici e i filesystem delle
macchine virtuali in cluster con drbd, oltre all'impegno di banda,
anche quella incapsulata nel virtuale e a cui dedicare alcune schede
fisiche.
Grazie

 continuare sull'altra senza colpo ferire.
Forse stiamo parlando di due cose diverse... io stavo immaginando un
server X (che so? apache) che fornisce il servizio web, e che � sulla
macchina (fisica o virtuale non importa) A.
Se vuoi spegnere la macchina A fai shutdown, heartbeat segnala
a B che vuole andare in standby, apacheA si spegne, l'ip viene
rilasciato, B prende l'ip e apacheB si avvia.
Eventuali elaborazioni in corso vengono perse.
Con la virtualizzazione dell'intera VM, invece, nessuna transazione
viene persa durante la live migration.
Una rapida ricerca mi ha portato qui, vedi se pu� esserti utile:
http://forums.citrix.com/thread.jspa?messageID=1427644


 Una rapida ricerca mi ha portato qui, vedi se può esserti utile:
http://forums.citrix.com/thread.jspa?messageID=1427644
Si` l'avevo gia` visto - ma non letto tutto - pensando, ah, fosse
supportato ... e` il solito discorso che devo usare cose supportate e
con supporto. Mi divertirei molto di piu` a non farlo, ma non posso.
Comunque ringraziando della gentilezza, adesso vado a leggerlo tutto e
poi mi trasferisco in Germania o dove ci sia qualcuno che lo supporta.
E' decisamente abbastanza spaventoso perche' compaiono anche crash,
difficolta` di aggiornamento, eventuali possibili corruzioni di dati,
eventuale carico eccessivo per dom0 che si deve gestire la
sincronizzazione drbd con una CPU sola. L'impressione e` che nemmeno
Bravehart lo metterebbe in produzione in un ambiente tutto dove deve
funzionare stabilmente.
Andrea

 con supporto.
Non fai prima ad acquistare vmware infrastructure o un nas economico
che esporti iscsi?


 che esporti iscsi?
L'altra soluzione al vaglio e` proprio quella vmware. Non pero` un nas
economico per metterci sopra le VM accedute dai due host (e` comunque
un'eventualita` improbabile perche' non so se riusciamo a mettere
insieme i soldi per comperarlo), bensi` uno serio (anche perche' come
faceva osservare ZipMan con 5-6000 E. se ne prende uno completamente
rindondato, 
p.es
. il Dell MD3000i). Oppure un nas economico per fare
scambio delle VM fra i dischi dei due nodi fisici, cosa che non
faresti in tempo reale, ma con backup notturni a VM spente. In questo
caso non ci sarebbe HA, ma suddivisione del danno in caso di incidente
a un server (avendo 2 host distinti su cui girano macchine virtuali) e
DR, potendo far partire e/o importare su un nodo fisico le VM
dell'altro aggiornate all'ultimo backup (notte prima).
Andrea

 in tempo reale, ma con backup notturni a VM spente.
Ci sono dei NAS di Iomega (aka EMC2) che possono esportare volumi iSCSI e 
sono certificati sia con Vmware che con Xenserver che costano il giusto 
(l'8 TB in RAID-6 con 2 schede che possono anche essere configurate in 
bonding costa meno di 1500€). Proprio in questi giorni ho configurato un 
cluster con Vmware Essential Plus con 2 storage di questo tipo e 3 nodi. 
Per il 	backup ho utilizzato Vmare Data Recovery backuppando le macchine 
iSCSI su una share dell'altro cluster. Ho provato questi storage anche 
con Xenserver e non ho avuto nessun problema. Ovviamente non sono storage 
velocissimi, ma per quello che devo fare io (4/5 VM  senza grosse pretese 
di prestazioni) funzionano benissimo.
-- 
"Mai sottostimare la larghezza di banda di un camioncino che sfreccia a
razzo sull'autostrada" 
Andrew S. Tanenbaum
python -c "print 'bG9ybWF5bmFAZ21haWwuY29t'.decode('base64')"

 si tengono sincronizzati ma sono totalmente intercambiabili.
Domanda da profano che non ha mai potuto vedere le budella di una SAN:
Ogni singolo disco, deve essere in contemporanea visto dai due 
controller. Pensavo ci fosse un backplane unico che permetteva di 
sdoppiare il singolo connettore sas/sata di ogni disco sui due controller.
C'è uno sdoppiatore su ogni disco?

 C'è uno sdoppiatore su ogni disco?
Ogni disco ha un doppio canale, al pari di quanto esiste con architetture 
fiberchannel. Un canale va su una backplane e l'altro sull'altra backplane.
Quindi ogni controller ha un percorso punto-punto dedicato ed isolato tra sè 
e il disco.
http://www.wwpi.com/index.php?option=com_content&task=view&id=853&Itemid=87
Questo è anche il motivo per cui i dischi SATA per storage (Dual port) 
costano più dei dischi SATA per PC (Single port) e perché questi ultimi non 
è detto che funzionino nelle SAN.
Mi è già capitato di vedere il cliente che si credeva furbo e che per 
risparmiare ha comprato solo l'enclosure con 3 dischi per poi acquistare le 
slitte su e-bay e i dischi su Internet. Poi quando è stato il momento di 
metterli dentro non andava nulla... e bellissima è la soddisfazione nel 
dirgli che i dischi acquistati poteva anche buttarli perché non erano 
compatibili con il sistema :-) Alla fine ha speso parecchio di più che 
prendere tutto da subito.


 di prestazioni) funzionano benissimo.
Grazie delle informazioni.
Andrea

 è detto che funzionino nelle SAN.
Questo e` cosi` anche per i dischi SAS, oppure sono comunque e sempre
dual port?

 dual port?
S�, con la differenza che i dischi SAS, a quanto mi risulta, sono 
praticamente sempre dual port.


 curiosita`, usi RAID6 perche' ha dischi da TB?
Io ho poche macchine: un domain controller, un file server, un db (che è 
quello che mi crea più problemi) e poco altro.
Ha dischi da TB e si può scegliere se usare RAID-5 e RAID-6. Leggevo 
l'altro giorno questo:
http://feeds.hwupgrade.it/c/32480/f/477553/s/a8fce22/
l/0L0Shwupgrade0Bit0Cnews0Cstorage0Ciomega0Estorcenter0Eix120E30A0A0Efino0Ea0E120Edischi0Econtemporaneamente0I32610A0Bhtml/
story01.htm
Ovviamente se vuoi tutto ridondato devi prendere prodotti di fascia alta: 
io in ufficio ho una Hitachi SMS-100, che costa poco, ma non è ridondata 
(e difatti quando ha iniziato a segnalare un guasto son partite le 
bestemmie, meno male che il tecnico è riuscito a ributtare tutto su una 
nuova) e una Hitachi AMS-200 che è ridondata


 praticamente sempre dual port.
Giusto per capirlo avranno 2 connettori SAS o avrai un cavo SAS con 3
connettori (uno per il disco e 1 per ogni controller?).
Avendo orecchiato che SAS e` punto punto mi aspetterei i due
connettori sul disco, nel qual caso non mi sembra che i miei li
abbiano.

 Ovviamente se vuoi tutto ridondato devi prendere prodotti di fascia alta:
Mi sa che alla fine prenderemo due macchine del tipo di quella da te
descritta o ancora inferiori (
p.es
. dei qnap) ma per i backup e per
far transitare le immagini delle VM fra un nodo l'altro mentre useremo
lo storage interno di questi per l'esercizio normale, anche perche'
con la questione dei dischi SAS a 2 porte oppure no ho il dubbio che
quelli interni dei server che avrei voluto eventualmente spostare
sulla macchina di storage seria non ci possano funzionare in modo
ridondato.
Grazie


Ma questa poi, e` un quarto d'ora che cerco e non riesco a trovare
risposta. Solo immagini di drive SAS HP dual port, pero` fotografati
dalla parte sbagliata. In compenso ho trovato chi diceva che non
c'erano SATA dual port. Sei sicuro che ci siano?

 abbiano.
No, il connettore � unico ma ospita due canali. Meccanicamente c'� un solo 
connettore, ma dal punto di vista elettrico ci sono due percorsi isolati per 
i dati.
Questo paper spiega abbastanza bene e chiaramente come funziona il tutto.
www.scsita.org/aboutscsi/sas/tutorials/SAS_Physical_layer.pdf
Ti consiglio una letta veloce anche a wikipedia che dovrebbe chiarire un po' 
i tuoi dubbi.
http://en.wikipedia.org/wiki/Serial_attached_SCSI


 c'erano SATA dual port. Sei sicuro che ci siano?
Sono una novit� introdotta con SATA 3Gb. Nelle specifiche originali non 
erano previsti dischi dual port per non far concorrenza a SAS. Poi quando le 
grosse aziende hanno cominciato a premere per avere dischi ad alta capacit� 
e basso costo il dual port � stato introdotto anche sulla tecnologia SATA. 
Le differenze comunque tra SAS e SATA restano ovviamente enormi sotto tutti 
gli altri punti di vista.


 ancora?
In generale si. Per� drbd active/active lo puoi avere solo se usi fs 
cluster-aware.
