Newsgroup: it.comp.os.linux.sys
Titolo: "reattività" server

Non saprei come altro descriverlo.
Ho un paio di server che di tanto in tanto diventano lenti, come se ci si trovasse su una rete con latenza molto alta.
 
La rete non centra nulla in tutto ciò, è lento persino da console diretta, è solo per rendere l'idea. In pratica, un top impiega anche 3-4 secondi prima di partire.
 
E' come se ci fosse qualche problema con i dischi (SAS 15K in RAID-5), ma sia top (waiting) che iostat non mostrano anomalie, tutto è nella norma.
 
Fatto stà che il server non è reattivo e di tanto in tanto il load passa, per alcuni secondi, anche a 20-22 per poi tornare alla normalità (6-7)
 
Non saprei che altro controllare, i log non dicono nulla. I dischi sembrano funzionare. Ho pensato a problemi di rete, ma le nic non indicano drop o overrun.
Gli switch sono OK.
 
La macchina è virtualizzata tramite Xen.
Il Dom0 è tranquillo e non mostra nulla di strano.
 
Tutti gli altri DomU (tolto 1) sullo stesso nodo non hanno mai dato problemi di sorta (ma effettivamente potrebbero essere un pochino più reattivi, ma nulla di simile al server in oggetto)
 
Io alzo bandiera bianca.

 Gli switch sono OK.
 
Ah, dimenticavo: non swappa.

Ho un paio di server che di tanto in tanto diventano lenti, come se ci si trovasse su una rete con latenza molto alta.
 
...conflitti ARP?
 
Leonardo
-- 
 
A terrible beauty is born.
                                     - W. B. Yeats, Easter 1916

 ...conflitti ARP?
 
In teoria non dovrebbe impattare negativamente se non si usa la rete.

 Io alzo bandiera bianca.
 
Non conosco XEN, ma fosse stato vmware io avrei subito dato un'occhiata 
al valore di latenza del datastore. Perchè il throghput è una cosa, ma 
la latenza è cosa ben diversa ed è compatibile con una serie di "mancate 
immediatezze" che tu riscontri.
 
Sono certo xen abbia strumenti per darti la latenza media del datastore. 
Ad esempio a volte anche controller raid che reputano la batteria non 
più utilizzabile diventano improvvisamente meno reattivi.
 
...e comunque 6-7% di cpu media non è proprio pochino eh. C'è di peggio, 
certo.
 
 
 
 
 

 certo.
 
Io credo che il problema sia dato da vari bot che di tanto in tanto cercano di sfondare i siti dei clienti mediante bruteforce su wp-login.php o analogo.
 
Quando il load sale, un 'apachectl fullstatus | grep POST' mostra sempre vagonate di richieste verso pannelli amministrativi o siti compromessi.
 
Come diavolo si può fare per bloccare tutta sta rumenta? fail2ban non è utile, dovrei fargli leggere circa 700 log diversi in una sola botta.
 
Stavo quasi pensando di fare uno script in cron che ogni minuto mi greppa su 'apachectl fullstatus | grep POST' e sega e banna chi ha più di 3-4 connessioni aperte
 
Per il ban non c'è problema, ma c'è modo di forzare la chiusura di una connessione proveniente da un dato IP ? Vorrei liberare quanto prima il child di apache coinvolto.

 Per il ban non c'è problema, ma c'è modo di forzare la chiusura di
una connessione proveniente da un dato IP ? Vorrei liberare quanto
prima il child di apache coinvolto.
 
In che senso? una volta che lo mandi in iptable la connessione è 
destinata a defungere in un arco temporale abbastanza limitato.
 
 
ma... alla fine hai trovato il problema? Il datastore che latenze ha?
 

 ma... alla fine hai trovato il problema? Il datastore che latenze ha?
 
Non ho idea della latenza (non so come fare a misurarla)
So solo che quando ci sono questi bot di merda (ed oggi è particolarmente pieno) il load del server sale di parecchio.
 

 L'arco temporale limitato è comunque troppo. Voglio segare tutto e subito.
 
si ok, ma alla fine dobbiamo anche discernere un DoS da una serie di 
accessi. Per quanto intensi, una serie di accessi che vanno naturalmente 
in timeout non devono impegnarti la macchina.

 ma... alla fine hai trovato il problema? Il datastore che latenze ha?
 
Ma se fosse un problema di latenza sul datastore, non dovrei aver problemi su tutte le VPS presenti sul nodo?
 
Come mai su circa 15 DomU, solo 1 da problemi?

 Ma se fosse un problema di latenza sul datastore, non dovrei aver problemi su tutte le VPS presenti sul nodo?
 
Confermo che il problema è lo storage (locale, raid-5 sas 15k a 7 dischi + spare)
Anche un backup è lentissimo, nell'ordine di poche decine di megabits al secondo durante il trasferimento (iperf invece indica banda piena, gigabit)
 
Ammetto che si tratta di una controller entry level, senza cache, ma mi pare decisamente troppo troppo lenta.

 Confermo che il problema è lo storage (locale, raid-5 sas 15k a 7 dischi + spare)
 
eh... ma Xen qualche dato più tecnico al posto di 
"miocugggginodicecheilbackupvalentissimissimo" ce l'ha? latenze, iops, 
throughput e robetta simile insomma :-)
 

 throughput e robetta simile insomma :-)
 
Boh, non ne ho idea, ho cercato un po, ma senza successo (ho cercato male)
Comunque intanto migro un po di VM su altro nodo, non si sa mai.
 
Sono quasi certo che il problema sia la controller da supermercato.