Newsgroup: it.comp.os.linux.sys
Titolo: Server Blade

Come da oggetto, chi di voi ha esperienze in merito?
Ho notato il loro basso costo, il loro basso consume energetico e il
loro ingombro pressochè nullo e volevo approfondire la questione.
Ho alcune domande:
1. come funzionano questi affari? Ho bisogno, per iniziare, di un
enclosure e dei vari server blade da metterci dentro se non erro. Due
oggetti (enclosure+blade) o devo prendere altre apparecchiature per la
loro gestione? dal sito HP non si capisce.
2. come si installano questi blade? non essendo computer a se stanti,
ma dipendenti dall'enclosure, come installo il sistema operativo?
Scusate la banalità della domanda ma sono totalmente neofita in
materia di blade....
3. Nel caso si volessero utilizzare dei blade per ridondare dei
servizi (ad esempio un server web) sarebbe sufficente una enclosure
più due blade in ridondanza oppure bisogna ridondare anche la
enclosure? (non ho la minima idea della loro meccanica, quindi non so
cosa si presente nella enclosure che si potrebbe guastare). Dischi,
processore, ram etc etc sono tutti nel blade, ridondando i 2 blade
posso dormire sonni tranquilli e beati? Magari l'enclosure contiene
solo gli alimentatori (già ridondati di suo) e poco altro quindi è
molto molto improbabile che si guasti (talmente improbabile da non
giustificare la spesa di una eventuale ridondanza???)
Grazie 1k.

 giustificare la spesa di una eventuale ridondanza???)
Come detto in un Blade è già *tutto* ridondato, ventole, switch,
enclosure, alimentatori, ecc.ecc.
-- 
Flavio Visentin
Membro del CICAP
Comitato Italiano per il Controllo delle Affermazioni di P4

 enclosure, alimentatori, ecc.ecc.
Ok. quindi in soldoni per avere un sistema HA:
1 enclosure + 2 blade.
i 2 blade si mettono in HA tramite hearthbeat o simili, la enclosure
invece è già ridondata per conto suo dal lato hardware.

 Il mio timore era che un guasto compromettesse l'intero sistema.
Appunto.
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/YYl8THo01J+SBERAvIWAKCb+dM2NBJA9mn3uWrPR63Rwvm8XgCeOb1s
UWLp6qh/LoVxO/w+LfTta4U=
=VTwp
-----END PGP SIGNATURE-----

 Appunto.
Intendevo un guasto banale tipo alla scheda di rete dello chassis ma a
quanto pare sono ridondate.

 trovare il pulsante che mi faccia cambiare il server.
Trovato! E' direttamente sul blade.

 invece è già ridondata per conto suo dal lato hardware.
Sì. Ma ricordati che devi mettere anche due switch.


 fosse connesso a 4 lan distinte con 4 cavi di rete...
No. Ogni switch ha 3 (o 6) porte esterne e 7 (o 14) porte interne che
non vedi. (la quarta porta è la console dello switch)
Ogni lama ha una scheda di rete connessa a ciascuno switch attraverso la
backplane, quindi 1 scheda se hai un solo switch e 2 schede se hai 2 switch.


 distinte? come se ogni blade fosse connesso a 4 lan distinte con 4 cavi di rete...
No.
Ma si presume che in una realtà che fa uso di bladecenter le lan siano
in realtà VLAN, quindi se si ha necessità che le lame siano connesse a
più di sue VLAN, basta far sì che il collegamento con la stessa avvenga
con un trunk, e sulla NIC fai tutte le subinterface che ti pare...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/Zve8THo01J+SBERAsoDAKCaLRvttCBqOhL+rxngvYoCKhnuBwCgq5W0
jxPpQCAesaJMWcJYNLSGfnk=
=6jt2
-----END PGP SIGNATURE-----

 non vedi. (la quarta porta è la console dello switch)
IGESM? A me risultano 4 link esterni, oltre alla seriale di management...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/Zwi8THo01J+SBERArDEAKCbxTsAy9SogFySeblPWtr1w+Qs1ACdHE0u
0HsktcSYPIF8WnsgPNwtbX8=
=34DP
-----END PGP SIGNATURE-----

 Sì. Ma ricordati che devi mettere anche due switch.
Switch 'tradizionali' ok....per la ridondanza (Sono necessarie due 
schede di rete per ogni server per ogni lan (io ho 4 lan, quindi 
diventerebbero 8 se le volessi ridondare tutte...).
Oppure parli degli switch dello chassis? (ripeto, non ho capito a cosa 
servano e se mi servono veramente)

 backplane, quindi 1 scheda se hai un solo switch e 2 schede se hai 2 switch.
Quindi una porta esterna viene 'sdoppiata' in 7 o 14 interne per le lame.
Le lame sono connesse alle 14 porte interne, la quale prende 
connettività dalla porta esterna.
E la seconda porta esterna? Hai detto che sono 3 o 6. 1 è la console, 
quindi ne restano 2, 1 delle quali è la connettività e la 2 a che serve?

 con un trunk, e sulla NIC fai tutte le subinterface che ti pare...
Ovviamente si, ma certe volte le vlan non sono attuabili.
1 lan da me è dedicata per il backup (è l'unica GB) e utilizzare una 
vlan su una rete a se stante mi complicherei la vita. Quando parte il 
backup dovrei fare QoS per evitare strozzamenti degli altri servizi (il 
backup quando parte parte a missile e usa tutto il canale)
Potrei accorpare la lan primaria con quella di management interna 
(l'unica da cui posso accedere in ssh) ma per fare ciò e per farlo in 
sicurezza (evitando il passaggio da una vlan ad un'altra da parte di 
malintenzionati) dovrei sostituire gli switch con switch gestiti (3-4 
volte più costosi). E' stato molto più economico implementare una lan 
parallela a 100mbit. Sfido io a 'cambiare' il cavo di rete da parte del 
malintenzionato.

 quindi ne restano 2, 1 delle quali è la connettività e la 2 a che serve?
Da noi abbiamo fatto un TRUNK delle porte su dei catalyst 3750. Credo 
sia l'utilizzo "normale" anche perche' se nell'enclusure metti dei Cisco 
(simil-cisco per essere esatti) riesci a riportare sulle lame tutte le 
vlan (attraverso vtp) e fare dei trunk per rindondare e' davvero un attimo.

 esempio sugli IBM.
si fa' con gli opteron , 2 ls21 possono diventare un ls41.
ciao.
-- 
Ai miei tempi si' che si faceva il vero cinema, quello con la `A' maiuscola.
                -- Gina Lollobrigida, intervista al TG2

 servano e se mi servono veramente)
Esattamente. Ma non puoi avere 4 schede per server.


 Esattamente. Ma non puoi avere 4 schede per server.
Allora devo cambiare veramente tutta la topologia della sala server.
Il che non è bello e nemmeno economico. E nemmeno indolore durante la 
migrazione.

> Esattamente. Ma non puoi avere 4 schede per server.
AFAIK con le daughter card sì, ma oltre al costo aggiuntivo delle stesse
cìè anche l costo aggiuntivo dei moduli switch relativi...
Altra cosa: le lame "doppie" (HS40), occupando due slot hanno anche il
doppio di NIC (quindi 4), ma ovviamente è un caso particolare...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/qHw8THo01J+SBERAqxSAKC8IqKqAiIR9MCFgJavnnum910dPwCbByzB
nTd3u+GWgtH7Byh5mcZjYWM=
=xQ+D
-----END PGP SIGNATURE-----

 in un etherchannel da 4 Gbit.
Si ma la struttura si complica a dismisura.
Diciamo che oltre ai vantaggi energetici e di spazio, ci sono anche dei 
grossi svantaggi di gestione.
dal momento che non devo installare 50 lame, credo che la soluzione 
blade, per quanto 'accattivante', economica e scalabile, sia oltre le 
mie esigenze al momento.
Prima strutturerò una simil-san (come nell'altro post) poi penserò al blade.
Pensavo fosse meno complessa la cosa.

 E la scala di valutazione parte da 2...
Che te ne fai di 4 schede? Al massimo usi vlan e quindi basta che tagghi
 sulla singola scheda.


 Pensavo fosse meno complessa la cosa.
Dipende dalle esigenze di gestione che si hanno e dalla tipologia di
infrastruttura già presente sul sito.
Se si deve metter in piedi un datacenter from scratch o quasi le
complicazioni date dalle particolarità del bladecenter son piuttosto
scarse...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/qbL8THo01J+SBERAkGpAJ9EuZvO/tWIyOw5XqrBi+Z0Wc0UPwCgsFt1
psC0YAEGqqEK8jNeeI+G84Q=
=tRyU
-----END PGP SIGNATURE-----

  sulla singola scheda.
Devo cambiare tutti gli switch per fare vlan come si deve.

 scarse...
Purtroppo non devo farlo da zero.
Non siamo nemmeno provider a livello nazionale, ma solo provinciale e la 
struttura di rete è in piedi da svariati anni, cambiarla, non è cosa 
rapida ed indolore.
VA CAMBIATA! questo è il punto. ma sto cercando di trovare un buon 
compromesso tra:
a) costi
b) rapidità e semplicità di sviluppo
c) riciclaggio dei materiali esistenti
d) espandibilità.
Implementare un blade, non mi farebbe riciclare molto di quello che ho, 
non sarebbe molto rapido e sopratutto, inizialmente non sarebbe 
economico (dopo 2 anni, di sola elettricità risparmiata per me si 
rientra un po nei costi)

 rientra un po nei costi)
Con 5 lame hai già un costo analogo se non inferiore all'equivalente
soluzione classica.


 Devo cambiare tutti gli switch per fare vlan come si deve.
No. Fai diventare core gli switch del blade e gli altri li lasci come
periferici, ognuno dedicato ad una VLAN e connesso ad una porta del
blade. All'interno del blade userai frame tagged, all'esterno invece
untagged sulle singole porte e switch dedicati per ciascuna VLAN.


 lo metti blade e il resto resta così com'è finché non è ora di dismettere.
Hai un manuale per sti dannati blade? Non ci sto capendo niente ed 
almeno non vi rompo più con le mie domande.

 untagged sulle singole porte e switch dedicati per ciascuna VLAN.
Cioè: io devo/dovrei portare 4 lan (vlan o lan poco importa a sto punto) 
ad ogni lama.
Per fare vlan dovrei fare un etherchannel unendo tutti e 4 i canali 
dello switch del blade (per guadagnare più banda possibile).
Questo significa che ogni porta dello switch 'porta' una lan distinta 
alle lame. Se poi io le unisco in bonding e faccio vlan oppure porto le 
lan indipendenti poco importa.
Altrimenti come diavolo faccio 4 vlan sopra una singola scheda di rete 
dello switch scusa?

 dello switch scusa?
Trunking in dot1q. Porta tutte le vlan che ti pare, indipendentemente
dal fatto che lo fai fare ad una interfaccia a 10 Mbit o a un
etherchannel da 4 Gb...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/s9L8THo01J+SBERAo9zAJ9hRuT3u5dqxUHL3CNXcTDmT7VUnACfTgfA
KQfaD7Pyp2/r3/14TE1fvGU=
=jq64
-----END PGP SIGNATURE-----

 etherchannel da 4 Gb...
A ok, però una eth GB con due vlan attive simultaneamente equivale a
500Mbit per ogni vlan (dati approssimativi, serve solo per il
concetto).
Tieni conto che ho una vlan per i dati (100mbit), una vlan per il
backup (che deve andare gigabit solo lei), una per il management
(64kbit bastano ed avanzano) e vlan per la san (che deve andare
gigabit o più).
Lo so che tecnicamente si può fare sia su una eth da 10mbit che un
etherchannel da 4gb però il problema è il QoS o rischio di trovarmi
strozzato.
Inoltre, tu dici che le 4 porte dello switch non portano 4 lan
distinte, vuol dire che ne posso usare solo 1 e mettere 4 vlan sopra
non è fattibile.
Sto dannato switch, come viene visto da linux? eth0, eth1, eth2, eth3
ma tu (con molta più esperienza di me) dici di no (dato che dici che
non porta 4 lan).
Allora
1) a cosa servono le 4 porte?
2) come faccio un etherchannel sulle 4 porte dato che non sono usabili
tutte e 4
Normalmente, un etherchannel con 4 intefacce viene fatto usando 4
interfacce sul server tutte e 4 collegate allo stesso switch di rete.
Poi faccio bonding.
Ma se le 4 porte non sono viste dalle lame................io su che
faccio il bonding?

 
Uhm.. Un po' di confusione. Spero che il redpaper che t'ho mandato pr
via privata chiarisca qualcosa...
Innanzi tutto: parlo qui degli apparati IGESM che montano i bladecenter IBM.
Al di là di tutto, come dicevo, son dei catalyst.
Le porte 1-16 sono connesse ciascuna ad una lama.
Queste vedono la propria NIC come una "normale" eth0. Nè più nè meno.
Quindi, se la lama numero 5 deve essere connessa alla vlan 27, darai
semplicemente -sullo switch- un
interface GigabitEthernet0/5
  switchport mode access
  switchport access vlan 5
  spanning-tree portfast
  spanning-tree bpdufilter enable
Immagina di avere sull'enclosure un solo switch, e di aver la necessità
di attestare la lama 6 su due reti distinte. Diciamo la vlan 27 e 41.
Puoi ricorrere al "trucchetto" del trunk dot1q, creando in trunk con la
lama e propagandogli solo quelle due vlan:
interface GigabitEthernet0/6
 switchport trunk allowed vlan 27,41
 switchport mode trunk
 switchport nonegotiate
 spanning-tree portfast trunk
 spanning-tree bpdufilter enable
Adesso su quel trunk vengono consegnate entrambe le vlan, entrambe
taggate dot1q. Se pertanto lato server abiliti la gestione di 802.1q
sulla eth0, e se crei due subinterface una per la vlan 27 e una per la
vlan41, hai due interfacce "virtuali", una per parte...
Ora: per far sì che il collo di bottiglia tra il bladecenter e il resto
della rete non sia rappresentato da quel 1Gb che collega lo switch
dell'enclosure al resto, puoi aggregare le 4 interfacce (dalla 17 alla
20) dello switch stesso in un etherchannel, e usare il canale così
risultante (da 4 Gb) per avere un trunk dot1q con l'apparato
"soprastante"...
Ovviamente, non puoi fare un etherchannel con le lame, dato che sono
dotate di un'unica interfaccia collegata allo switch (salvo che con lame
"double size", ovviamente).
Qualora tu voglia tenere separate *completamente* la rete di backup da
quella di produzione, c'è sempre la possibilità di infilare nel
bladecenter il secondo modulo switch, che vede altre 14 interfacce,
esattamente come nel caso di prima. In questo caso, tali interfacce
corrispondono alle eth1 delle lame.
Ovviamente, così le operazioni che avvengono sulla rete di backup non
impattano in alcun modo con la connettività in produzione (posto che se
fai più di 500Mbit di traffico di backup su una macchina,
presumibilmente hai i dischi che frullano a tal punto che la scarsezza
di banda residua sulle altre VLAN è probabilmente l'ultimo dei problemi
di quel server).
Insomma: è chiaro che il meccanismo ha per necessità una flessibilità
hardware limitata, ma il limite non è poi così stretto...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/tn/8THo01J+SBERApZtAKC9hbgIb6dk6l53tvpfcT9bvSB0OQCeOTCA
DVmoUAckYcJmk2OzTu496nw=
=JEej
-----END PGP SIGNATURE-----

 di quel server).
Chiaro.

 ogni lama che riceve tutte e 4 le lan.
A te 'sta storia degli switch nello chassis t'ha mandato in confusione.
Pensa all'esempio di cui sopra e lascia perdere per un attimo il fatto
che parli di un blade. Ragiona con architetture classiche, perché tanto
non v'è differenza alcuna tra l'avere due server con in mezzo due switch
o due blade con due switch integrati.
Semplificando:
Uno switch può trattare le VLAN in due modi
a) assegnando una porta ad una determinata VLAN
b) facendo arrivare sulla porta i pacchetti taggati dot1q
Un pacchetto taggato non è altro che un pacchetto con l'"aggiunta" di un
numero che identifica la sua appartenenza ad una VLAN. E' quindi
possibile attraverso questo sistema, portare più reti distinte su uno
stesso media fisico (leggasi cavo); il sistema operativo, se supporta
tale feature, può discriminare a quale VLAN appartiene il pacchetto in
base al tag e Linux ovviamente supporta il tagging e ti rende
disponibile una intefaccia "virtuale" per ciascuna VLAN configurata.
A questo punto tu hai un server con due schede di rete connesse a due
switch con una banda totale disponibile di 2Gbps (4Gbps Full Duplex) su
cui puoi veicolare, grazie a dot1q, fino a 4096 reti distinte.
Ovviamente la banda massima disponibile sarà sempre condivisa e
corrispondente a 2Gbps, ma usando dot1q hai anche il vantaggio che per
esempio di giorno tutti i 2Gbps sono disponibili agli applicativi,
mentre di notte possono essere sfruttati dal backup.
Il trunking non è altro che l'equivalente del bonding, ovvero
l'aggregazione di più interfacce di rete.


 BID=?? What??
BID = Sconto
-- 
Flavio Visentin
GPG Key: 
http://www.zipman.it/gpgkey.asc
There are only 10 types of people in this world:
those who understand binary, and those who don't.


 l'aggregazione di piů interfacce di rete.
Vabbč, ad ognuno le sue notazioni. Quello io lo chiamo etherchannel, e
il trunk č quello dove "taggo".
Abitudine Cisco... ;-)
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/xKH8THo01J+SBERAkB6AJ992fChtTTv90sSWKDU2Z64PfPOEwCgy6ye
zOHW/S2QqIziwVnckqctCpw=
=c4Ob
-----END PGP SIGNATURE-----

 Abitudine Cisco... ;-)
Sě, scusa, sono io che ho mischiato un po' i termini nella foga.
E per fortuna che proprio oggi ho fatto una certifica cisco :-D


 
Non mi offendo ci mancherebbe
Diciamo che ho capito a cosa serve sto switch, e secondo me, stiamo 
dicendo tutti e 3 la stessa cosa in termini diversi (io, te, skull).
Mi spiego:
lo switch č un normalissimo switch a 20 porte.
le porte da 1 a 14 vanno alle lame
le porte da 15 a 16 vanno ad eventuali uplink o management non ricordo 
(ed a me non servono per il momento)
le porte da 17 a 20 sono libere e posso usarle per fare quello che voglio.
Ora, dato che ogni server mi vede una singola eth0 posso fare qualcosa tipo
ifconfig eth0 1.2.3.4
ifconfig eth0:1 2.3.4.5
ifconfig eth0:2 3.4.5.6
ifconfig eth0:3 4.5.6.7
Avendo 4 alias su 4 reti distinte.
Ora collego la porta 17 alla rete 1.2.3.4, la porta 18 alla 2.3.4.5 etc 
etc e mi ritrovo tutte e 4 le reti sulla lama.

 etc e mi ritrovo tutte e 4 le reti sulla lama.
E' come buttar via le porte: fatta così son tutte nello stesso dominio
di broadcast, si parlan tra loro, ecc.
Inoltre colleghi tra loro tutte le reti, e se l'obiettivo di tenerle
separate aveva a che fare con segmentazione e sicurezza, hai buttato
tutto nel cesso...
Se non hai apparati che gestiscono VLAN, nel resto dell'infrastruttura,
in nulla ti vieta di continuare a gestirle internamente allo switch del
blade, usando le uplink non in trunk ma in access mode, assegnandole ad
altrettante vlan separate, e le colleghi ognuna ad uno switch.
Il link verso le macchine lo gestisci comunque forzandolo a trunk, e
crei subinterface in modalità dot1q, una per vlan, come al post precedente.
Cmq, qui siamo andati abbondantemente OT...
- --
Skull & Bones (ER6n Silver)
Neo:  I know Sendmail!
Morpheus:  Show me.
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.1 (Darwin)
iD8DBQFF/6Tb8THo01J+SBERAvGOAKC1GWqHJxGeZ+93kezzQtNF6yMlcQCghiOa
0iutGb99r42E9oWhJuWjbEI=
=dXK3
-----END PGP SIGNATURE-----

 Cmq, qui siamo andati abbondantemente OT...
Confermo.

 E per fortuna che proprio oggi ho fatto una certifica cisco :-D
Quale? :)
-- 
Words are very unnecessary
They can only do harm

 Quale? :)
642-371
