Newsgroup: it.comp.os.linux.sys
Titolo: ProxMox

Di recente vedo alcuni thread inerenti proxmox.
Ne approfitto per chiedere: è un buon prodotto? Lo usereste in produzione magari al posto di XenServer ? XS devo dire che funziona correttamente, lo uso su circa 8 nodi per ospitare un centinaio di VM. Quando funziona, tutto funziona.
Il problema è quando incorrono problemi, dove con tutti quegli UUID diventa impossibile destreggiarsi, c'è troppa astrazione.
 
Sarei tentato a metterlo in produzione su un server che mi deve arrivare.
Il solo fatto che sia basato su Debian mi fa felice (odio CentOS/RedHat e simili)
 
A livello di isolamento tra VM come siamo messi (mi riferisco a KVM) ? Su XS riesco ad ospitare due VM belle invadenti assieme ad altre 8-10 senza che esse portino via risorse. Al limite chi collassa sono le due VM invadenti, ma il resto del server non ne risente mai.

 invadenti, ma il resto del server non ne risente mai.
 
Al momento non ho rilevato nessun problema in questo senso, ma in effetti è 
ancora abbastanza scarico:
 
# qm list
      VMID NAME                 STATUS     MEM(MB)    BOOTDISK(GB) PID       
       400 .................... stopped    2028              32.00 0         
       401 .................... stopped    8192              40.00 0         
       402 .................... running    16384             60.00 2228      
       403 .................... stopped    4096              32.00 0         
       404 .................... running    1024              40.00 2266      
       405 .................... running    6144              40.00 2322      
       406 .................... stopped    1024              32.00 0         
       407 .................... running    1024              32.00 2356      
       408 .................... running    3072             273.45 6429      
       409 .................... running    8192              32.00 2405      
       411 .................... running    2048              32.00 2442      
       412 .................... running    2048              32.00 8089      
       413 .................... stopped    8192              54.00 0         
       414 .................... stopped    1024              32.00 0         
       415 .................... running    1024              32.00 2490      
       416 .................... running    4096              32.00 2525      
       417 .................... stopped    2048              32.00 0         
       418 .................... stopped    4096             273.00 0         
       419 .................... running    2048              32.00 2566
 
 
Ciao,
  Void

 riconoscendo l'OS guest la partizione su cui si trova.
 
Stessi problemi avuti da me con Xen.
In sostanza ci sono due casistiche:
 
1) pygrub non trova più la partizione di boot e si arrabbia. Poi rimontare il DomU all'interno del Dom0 con tanto di LVM e quella accozzaglia di UUID fa bestemmiare in 14 lingue.
 
2) Debian 7 al riavvio non trova più l'UUID della partizione di root. Sono in fase initrd. Bestemmiando per farla partire (vedi punto 1), faccio fallback alla mappatura diretta delle pertizioni senza usare gli UUID e tutto va. Lo stesso UUID che initrd non trova, una volta fatto il boot è perfettamente visibile e funzionante. Ma questo credo sia più un problema del domU che di Xen
 
Sta di fatto, che sono due "problemi" critici, in ambo i casi la VM non parte e debuggare/risolvere il problema quando si è fuori sede fa passare dei brutti minuti, sopratutto se l'unica connessione possibile è tramite il 3G del tablet.

 A livello di isolamento tra VM come siamo messi (mi riferisco a KVM) ?
 
Le risorse che assegni ad una macchina sono usate da lei e basta, anche se puoi
attivare il ballooning sulle macchine su cui ti interessa (guest Windows
compresi)
 
Enrico

 fare è usare le loop partition
 
Premesso che non parlo di qcow2 ma di volumi LVM gestiti da Xen, il problema è lato domU, quindi lato client. Ma è un problema che non riesco a risolvere e che puntualmente si presenta a rotazione su tutti i server senza che nessuno abbia mai modificato le configurazioni. Probabilmente è qualche aggiornamento di kernel, che riconfigurando initrd e grub, ha spaccato gli UUID dentro l'initrd. Sta di fatto che poi mi tocca bestemmiare in aramaico per destreggiarmi tra i mille mila UUID usati da ciascun DomU: il VBD, il VHD, il DomU, il Dom0, il VBD del Dom0....... che due coglioni!

 po' meglio
 
Si può considerare un bare-metal ? Parto da CD, installo e fa tutto lui in maniera ottimale compreso il partizionamento? In pratica come XenServer oppure va installato manualmente ?
 
Cosa non ti piace dell'architettura di Proxmox per suggerire Ganeti ?

 Cosa non ti piace dell'architettura di Proxmox per suggerire Ganeti ?
 
È un'architettura monolitica in PHP e Perl, che per certi versi (soprattutto
nel caso di un cluster) sembra funzionare per magia. Il lato positivo è dato
dal fatto che la magia è valida e solida, ovvero sono rari i casi in cui
qualcosa va storto. Di contro ganeti è più modulare, e questo ti permette di
mettere in piedi sistemi da te conosciuti e consolidati senza però dover
rinunciare alla semplicità del sistema
 
Enrico

 rinunciare alla semplicità del sistema
 
Dettaglia maggiormente. In che senso sembra funzionare per magia ?


 
Parte da CD, installa una debian modificata e partiziona con lvm.
Quando ha finito ti ci colleghi con un browser.
 
Io utilizzo opera perché gli altri mi danno problemi con i certificati 
autofirmati. Non ho installato le ultime versioni, però.
 

 2) Debian 7 al riavvio non trova più l'UUID della partizione di root. Sono
 
A te o a qualcun altro del gruppo è capitato anche con guest win2003? Se sì, 
come avete risolto?
 
 
Ciao e buona giornata,
  Void

 come avete risolto?
 
A me no, non usando Windows

 Dettaglia maggiormente. In che senso sembra funzionare per magia ?
 
Ad esempio, quando ti trovi ad aggiungere un nodo al cluster, rischi di
ritrovarti un errore generico perché ti sei connesso come utente normale e non
come root (no, nemmeno su - funziona, anche se è un dettaglio che non ricordo
bene)
 
Enrico

 autofirmati. Non ho installato le ultime versioni, però.
 
Uso da sempre Firefox e non ho problemi con i certificati selfsigned di Proxmox
 
Enrico

 Su XS riesco ad ospitare due VM belle invadenti assieme ad altre 8-10 senza che esse portino via risorse. Al limite chi collassa sono le due VM invadenti, ma il resto del server non ne risente mai.
 
Puoi gestire dei resource pool con limiti di risorse per VM o gruppi di VM.
 
Poi ha molte cose carine... l'unica cosa che è pessima di Proxmox è la
gestione dei backup... il resto va veramente da dio.

 gestione dei backup... il resto va veramente da dio.
 
Perchè pessimo il backup ? Vabbè che nemmeno con Xen li faccio (non ci ho mai capito nulla, ne trovato l'utilità).
Backuppo da dentro la VM, non da fuori.

 Con proxmox installando in modalità "avanti-avanti-avanti" e lui prepara tutto l'ambiente per ospitare VM su dischi LVM ?
 
Io ho avuto problemi solo a configurare il cluster con macchine non 
certificate, se ha problemi a vedere la eth di management è un terno al 
lotto.
 
Per il resto una figata. :)
 
cluster di saluti


 
root@server:~# pveversion
pve-manager/3.1-21/93bf03d4 (running kernel: 2.6.32-26-pve)
root@server:~# cat /etc/debian_version
7.9
 

 Backuppo da dentro la VM, non da fuori.
 
Ormai anch'io... rsnapshot a manetta.
 

 Ormai anch'io... rsnapshot a manetta.
 
Parliamone (volendo, la mia mail è buona)
rsnapshot custom o adhoc ? Io sto diventando cretino di Bacula, lo odio.
Ho però implementato qualche customizzazione su rsnapshot per eseguire in parallelo X backup da Y server differenti. Funziona benone. Sento solo la mancanza di eseguire script lato server prima dell'esecuzione dei backup (ad esempio per fare il dump dei database)

 Sento solo la mancanza di eseguire script lato server prima dell'esecuzione dei backup (ad esempio per fare il dump dei database)
 
Mi pareva di averti già fatto notare la soluzione con rsyncd.
P.es. il primo a caldo di tutto, il secondo a freddo del solo mysql
 
[system]
        comment = System Share
        path = /
        use chroot = no
        max connections = 1
        list = no
        uid = root
        gid = root
        exclude = \
                 /proc/* \
                 /sys/* \
                 /var/log/* \
                 /var/tmp/* \
                 /tmp/* \
                 /var/lib/mysql/* \
                 /var/lib/apt/lists/* \
                 /var/cache/apt/archives/* \
                 /media/* \
                 /mnt/* \
                 /home/
        include = \
                 /var/tmp/mysqldump.sql.gz
        secrets file = /etc/rsyncd.secrets
        auth users = backup
        strict modes = yes
        munge symlinks = no
        read only = yes
        hosts allow = 192.168.231.116
        ignore errors = yes
        ignore nonreadable = yes
        transfer logging = yes
        syslog facility = daemon
        log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
        timeout = 600
        dont compress = *.gz *.tgz *.zip *.xz *.zip *.z *.rpm *.deb
*.iso *.bz2 *.tbz
        pre-xfer exec = /usr/local/bin/dump_mysql.sh
        post-xfer exec = rm /var/tmp/mysqldump.sql.gz
 
[mysql]
        comment = MySQL Share
        path = /var/lib/mysql/
        use chroot = no
        max connections = 1
        list = no
        uid = root
        gid = root
        secrets file = /etc/rsyncd.secrets
        auth users = backup
        strict modes = yes
        munge symlinks = no
        read only = yes
        hosts allow = 192.168.231.116
        ignore errors = yes
        ignore nonreadable = yes
        transfer logging = yes
        syslog facility = daemon
        log format = %t: host %h (%a) %o %f (%l bytes). Total %b bytes.
        timeout = 600
        dont compress = *.gz *.tgz *.zip *.xz *.zip *.z *.rpm *.deb
*.iso *.bz2 *.tbz
        pre-xfer exec = service mysql stop
        post-xfer exec = service mysql start
 

 post-xfer exec = service mysql start 
 
Ok, hai vinto la mia massima stima per i prossimi 145 anni.
Questo era *ESATTAMENTE* ciò che mi mancava per rimpiazzare bacula.

         post-xfer exec = rm /var/tmp/mysqldump.sql.gz
 
curiosità: dumpi tutto il server in un singolo file ?
Perchè ? Io mi trovo meglio con piccoli file (1 per db), sono più gestibili, in caso di importazione se ci fosse qualche problemi riuscirei a importare tutto il resto tralasciando quello problematico


Sono 5DB che in tutto occupano 200MB... è più il tempo che perdo a fare
uno script per i dump singoli che nemmeno a farne il restore di tutto :)
 

 uno script per i dump singoli che nemmeno a farne il restore di tutto :)
 
Ah ok.
 
Invece hai adottato qualche sistema di alerting in caso di backup non andati a buon fine o problematiche varie ?

 Il kernel è RH :D
 
I kernel basati su quelli di RH li hanno abbandonati con la 4, purtroppo
 
Enrico

 loro non hanno intenzione di rilasciare il prodotto per kvm.
 
In merito a questo: supponiamo di avere 2 nodi ProxMox gestiti dallo stesso pannello amministrativo.
 
E' possibile, anche spegnendo la VM, spostarla da un server all'altro, direttamente via rete?
 
e' una funzionalità che uso spesso con Xen: tramite xencenter spengo la VM, esporto su un disco in locale nel mio computer e la reimporto sul nuovo server.
Per macchine piccole che possono stare spente anche mezzora, è veramente pratico, sicuramente più rapido che installare tutto su un nuovo server e replicare i dati che nel frattempo sono stati modificati sulla VM vecchia.
 
Il poter evitare l'uso del mio PC come "ponte" tra i due server (che nel caso di Xen non ho nemmeno capito come funziona) e magari fare un dump+import diretto via rete gigabit, sarebbe molto comodo dal mio punto di vista.

 E' possibile, anche spegnendo la VM, spostarla da un server all'altro, direttamente via rete?
 
Sì

 Sì, decisamente. Lo uso in produzione dalla versione 1.x e siamo alla 4.
 
Oh, bene, allora lo chiedo di nuovo anche a te... :-)
Gli unici problemi che ho avuto sono stati con qualche VM win2003 convertita 
con disk2vhd e poi in formato qcow2: qualche macchina proprio non parte, non 
riconoscendo l'OS guest la partizione su cui si trova. Ho seguito passo-
passo questo documento: 
https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE
, ma senza 
successo (neanche clonando direttamente la vm win2003 con Clonezilla). 
Qualche idea?
 
 
Ciao,
  Void

 Ormai anch'io... rsnapshot a manetta.
 
Io mi trovo abbastanza bene con un mix di backup Proxmox, rsync, db dump.
 
Il problema che ho con rsync è la rimozione delle vecchie snapshot quando ci 
sono un po' di file via NFS:
 
Removing /mnt/pve/san01/snapshots/2016-03-22 ...
 
real    280m3.205s
user    0m8.467s
sys     2m23.328s
 
Capita anche a te?
 
 
Ciao,
  Void

 sono un po' di file via NFS:
 
Io non metto su NFS... preferisco o mappare via iSCSI una lun remota o
piuttosto creare un virtual disk sul NFS e scrivere lì.
 

 piuttosto creare un virtual disk sul NFS e scrivere lì.
 
Interessante, cerco qualche info, in particolare sul creare un VD su NFS. Se 
hai qualche info pronta che può velocizzare il processo è la benvenuta... 
:-)
 
 
Ciao,
  Void

 non parte, non riconoscendo l'OS guest la partizione su cui si trova. Ho
 
Alla fine il problema era che, ingannato dalla configurazione su VMWare, ho 
creato una VM con dischi SCSI anziché IDE. Modificando poi la configurazione 
da console non ho avuto l'effetto aspettato. Ricreando invece la VM con 
dischi IDE e copiandoci poi sopra quelli convertiti ha funzionato.
 
Ho ancora un problema di incompatibilità con la scheda di rete di VM 
wxp/w2003.
 
Forse una cosa utile in Proxmox sarebbe poter importare direttamente i 
dischi virtuali senza dover prima crearne di nuovi da sovrascrivere con 
quelli convertiti che servono.
