Newsgroup: it.comp.os.linux.sys
Titolo: Squid su VMWare e degrado delle performance.

Ho un problema da un cliente e non riesco a venirne a capo (anche se in 
effetti non ci ho sbattuto molto il naso per mancanza di tempo).
Ho una macchina virtuale Debian Lenny 32bit su ESX 3.5 che opera da proxy 
con squid per una rete di un centinaio di client. Precedentemente la 
macchina era una macchina fisica e la virtualizzazione ï¿œ stata fatta con 
backup e restore. Le risorse assegnate alla macchina sono 1CPU e 1GB di ram 
(lo stesso quantitativo presente sulla macchina fisica) un disco vmdk da 20G 
ovviamente preallocato.
Il partizionamento ï¿œ uguale a quello del server di partenza ed in 
particolare c'ï¿œ un LVM di 5GB con FS ext3 montato su /var/spool/squid 
dedicato alla cache; nel file di configurazione di squid era praticamente
tutto di default, con unica impostazione particolare la cache settata a 3GB.
cache_dir ufs /var/spool/squid 3000 32 256
Sulla macchina reale le performance erano ottime. Sulla macchina virtuale le 
performance inizialmente sono buone, analoghe a quelle della macchina 
fisica, ma giï¿œ dopo un paio d'ore di utilizzo le performance degradano e 
sembra di navigare con un modem 56k.
Riavviando semplicemente squid la situazione permane degradata.
Cancellando la cache e riavviando squid che se la ricrea la situazione torna 
ad essere normale.
Ho provato a ridurre la cache su disco a 50MB pensando che potessero esserci 
problemi con una cache cosï¿œ grande su virtuale ma la situazione non cambia.
La macchina virtuale non riporta un'elevato I/O (nï¿œ il traffico ï¿œ 
particolarmente intenso), non c'ï¿œ swap della memoria, non c'ï¿œ ballooning 
(l'infrastructure ï¿œ abbastanza sovradimensionata come risorse disponibili).
Qualcuno ha mai osservato condizioni analoghe? Suggerimenti per il 
troubleshooting (di squid non sono molto esperto) e link a documenti per il 
fine tuning o per tuning specifico per il virtuale?
TNX
-- 
Flavio Visentin
Scientists have finally discovered what's wrong with the female brain:
On the left side, there is nothing right, and on the right side, there
is nothing left.

 Qualcuno ha mai osservato condizioni analoghe?
Sorry, mai virtualizzato squid, finora.
Usi diskd?

 troubleshooting (di squid non sono molto esperto)
Quando le prestazioni sono degradate, che utilizzo hai del disco?
Quanto � stata occupata la cache?
-- 
ValeRyo
CBR600F "Cerbero" - 
http://www.slimmit.com/go.asp?6YT
GamerTag: 
http://card.mygamercard.net/IT/nxe/ValeRyo76.png
 

 da 20G ovviamente preallocato.
non c'è il concetto di non preallocato su esx :-D
comunque , il vmfs in questione dov'è ? su san ?
un hdparm -Tt /dev/sda quanto segna ?
-- 
Essere bisessuale raddoppia automaticamente le tue probabilita' di
concludere la serata.
		-- Woody Allen

 fine tuning o per tuning specifico per il virtuale?
Hai dato un'occhiata al Cache Manager e a cache.log? Niente di utile? 
Ci
sono abbastanza file descriptor quando e' lento (mah... avresti avuto 
il
problema anche prima e si sistemerebbe momentaneamente con il riavvio 
di
squid). Prova ad aumentare il livello di debug per le sezioni 
pertinenti
(quelle riguardanti il disco, i file descriptor, ecc). Prova a 
impostare
high_response_time_warning ad un valore significativo, potrebbe 
aiutarti
a leggere cache.log. Il valore lo devi cercare un po' tu, puoi farti 
un'
idea facendo una richiesta 'time wget|curl|lynx http://...' o con curl 
e
i suoi timer interni, se non hai una baseline. Se no mettici qualche 
Kms
e via.
Fabio

 Riavviando semplicemente squid la situazione permane degradata.
Personalmente rivedrei il parametro cache_dir impostando la direttiva
ufs in aufs e impostando una dimensione in MB pari alla dimensione del
volume logico meno il 20% (ovvero 2458MB). La prima modifica la farei in
quanto in questo modo Squid usa i POSIX Threads, che non e` una cattiva
idea. La seconda modifica la farei in quanto la documentazione di Squid
stesso suggerisce, in caso di utilizzo di un volume dedicato alla cache,
di impostare una dimensione in MB decurtata del 20% dello spazio
totale del disco
Enrico

 non c'è il concetto di non preallocato su esx :-D
Eh, aspetta la 4 :)
-- 
Bye
Gianfranco Bartolini
(gianfranco punto bartolini at tiscali punto it)

 un hdparm -Tt /dev/sda quanto segna ?
5 test spaziati di un minuto.
  Timing cached reads:   11984 MB in  1.99 seconds = 6011.65 MB/sec
  Timing buffered disk reads:  358 MB in  3.02 seconds = 118.72 MB/sec
  Timing cached reads:   10576 MB in  1.99 seconds = 5302.42 MB/sec
  Timing buffered disk reads:  430 MB in  3.01 seconds = 143.03 MB/sec
  Timing cached reads:   11634 MB in  1.99 seconds = 5834.98 MB/sec
  Timing buffered disk reads:  470 MB in  3.00 seconds = 156.60 MB/sec
  Timing cached reads:   11698 MB in  1.99 seconds = 5866.79 MB/sec
  Timing buffered disk reads:  486 MB in  3.00 seconds = 161.87 MB/sec
  Timing cached reads:   11526 MB in  1.99 seconds = 5780.40 MB/sec
  Timing buffered disk reads:  488 MB in  3.01 seconds = 162.38 MB/sec


 aiutarti a leggere cache.log.
Obbedisco :-) Faccio subito.


 totale del disco
Prima difatti era cos�; ho provato a segare cache per verificare che non 
fosse un problema legato a file descriptors o agli indici degli oggetti 
troppo grossi (non si sa mai).


 sarebbe dovuto verificare anche precedentemente.
La dimensione c'entra poco, penso: se parlassimo di una cache di 1 MB 
ti
direi che sarebbe difficile saturarci 1024 fd, ma con 50 MB sarebbe 
piu'
che possibile. E' piu' una questione di numero di richieste aggravata 
da
eventuali latenze dell'i/o: allungando i tempi per l'evasione aumenta 
la
contemporaneita' delle richieste, e quindi dei fd da tenere aperti.
Un'occhiata alla sezione file descriptor del cache manager gliela 
darei.
Fabio

   Timing buffered disk reads:  430 MB in  3.01 seconds = 143.03 MB/sec
[...]
Uhmmm... non capisco cosa mi sfugge: questi sono dei valori tipici 
della
mia SAN iSCSI di casa con fs ocfs2. Ma il target e' un minipc VIA con 
un
disco 2,5" da 5400 rpm e collegato allo switch 100 Mbit del router 
ADSL.
Anzi, buffered arrivo a 300 MB/sec :-)
Indagherei in questa direzione.
Fabio

 Indagherei in questa direzione.
Bwahahaha... lascia perdere, va, dev'essere l'ora.


Hai dato gli steroidi a quel sistema?
Nel dubbio ho provato qualche altra macchina...
Lama blade LUN su SAN FC:
/dev/sdb:
  Timing buffer-cache reads:   11708 MB in  2.00 seconds = 5854.00 MB/sec
  Timing buffered disk reads:  356 MB in  3.01 seconds = 118.27 MB/sec
Disco SATA del portatile:
/dev/sda:
  Timing cached reads:   1424 MB in  2.00 seconds = 712.07 MB/sec
  Timing buffered disk reads:  112 MB in  3.03 seconds =  36.92 MB/sec
Disco SATA di un desktop:
/dev/sda:
  Timing cached reads:   7390 MB in  2.00 seconds = 3697.83 MB/sec
  Timing buffered disk reads:  194 MB in  3.02 seconds =  64.19 MB/sec
Disco ATA di un vecchio server:
/dev/hda:
  Timing cached reads:   728 MB in  2.00 seconds = 363.40 MB/sec
  Timing buffered disk reads:  200 MB in  3.01 seconds =  66.40 MB/sec
Macchina virtuale su un'altra VI3.
/dev/sda:
  Timing cached reads:   8678 MB in  1.99 seconds = 4354.62 MB/sec
  Timing buffered disk reads:  340 MB in  3.01 seconds = 113.11 MB/sec
A me sembra che i valori della mia macchina siano in linea con le 
aspettative e che i tuoi siano un po' fuori scala :-)
Penso che nel tuo caso sia l'effetto del caching.


 Eh, aspetta la 4 :)
gia' sotto mano , pero' non ï¿œ che mi convinca molto sta cosa.....
-- 
"Scommetto che perdo questa scommessa."

 Anzi, buffered arrivo a 300 MB/sec :-)
no way , ha sbagliato a leggere , su iscsi 100mbit arriverai si e no' a 
10MB/s non c'ï¿œ verso.
-- 
Perche', se Dio e' immortale, ha lasciato ben due Testamenti?
		-- Da it.hobby.umorismo

 gia' sotto mano , pero' non ï¿œ che mi convinca molto sta cosa.....
M'immagino che le prestazioni degradino, resta da capire quanto in %
e se sia utile solo alla virtualizzazione desktop oppure se si possa
usare anche per server a basso i/o disco.
Appena ho un hardware decente a disposizione faccio qualche benchmark e 
lo posto.


> Penso che nel tuo caso sia l'effetto del caching.
Penso che sia l'effetto di altra roba. Buona, eh...
ma mi fa leggere K per M.

 10MB/s non c'ï¿œ verso.
Certo, vedi messaggio successivo... avevo interpretato i numeri in KB.