Newsgroup: it.comp.hardware.storage
Titolo: Lentezza in scrittura su HP MSA20

Ciao a tutti,
ho un problema con un array HP StorageWorks MSA20, collegato ad un 
server HP ProLiant DL380 G4 tramite controller Smart Array 6400.
 
Il problema è una terribile lentezza in scrittura.
Sebbene un "hdparm -tT /dev/cciss/c1d0" in condizioni normali dia 
risultati buoni intorno ai 100 MB/s, se faccio un test banale tipo un 
"dd if=/dev/zero of=./testfile" controllando la dimensione del file di 
output posso vedere che la velocità è buona fino a circa 800-900 MB di 
dati scritti, ma da lì in poi crolla clamorosamente e diventa di 20 o 
anche 5 MB/s.
Se interrompo l'operazione, vedo dai led che l'attività su disco 
continua ancora per molti minuti, e finché non termina del tutto le 
prestazioni rimangono scarsissime.
 
Le batterie delle cache dei controller erano vecchie e sono state 
sostituite, tutte e 4 (due nel controller e due nel MSA20), e ormai 
hanno avuto tutto il tempo di ricaricarsi.
Inoltre ho anche riattivato la cache in scrittura del MSA20 tramite la 
"HP ACU CLI". Sul controller 6400 mi dice che non posso farlo in questa 
configurazione, forse perché non ci sono dischi collegati direttamente a 
lui.
 
ACU mi avvisa che il firmware dei controller deve essere aggiornato. Lo 
farò, ma qualcosa mi dice che questo non risolverà il problema...
 
Sul server gira Fedora Core 5.
Nell'array ci sono dischi da 250 GB, suddivisi in 3 dischi logici in 
RAID 5 di circa 700 GB ciascuno.
 
Qualcuno ha consigli da darmi?
Grazie...
 
-- 
01

 Qualcuno ha consigli da darmi?
 
qual'e' l'utilizzo principale del server e dello storage ?
(database, file server, web/mail server, ecc..)
 
non sempre il RAID-5 e' la scelta ideale, soprattutto
con hardware "datato"
 
se le mie supposizioni di configurazioni sono corrette
e se non sussistono problemi hardware, potresti (dovresti)
suddividere in piu' stripeset con dischi separati,
rinunciando ad un po' di capacita', ad esempio:
 
- RAID-10 con 4 dischi (tot. 500GB) per database/mail server
- RAID-5 con 5 dischi (tot.1TB) per file/web server
- 1 hot spare
 
oppure 3 stripset con 4,3 e 3 dischi (750+500+500GB)
o qualsiasi altra configurazione ma sempre con piu'
stripeset e non uno singolo con piu' dischi logici
 
in questo modo eviti di caricare il processore del
controller ad ogni operazione I/O , statisticamente
e' piu' difficile che ci siano accessi simultanei
a tutti gli stripeset (e comunque rientra nei limiti
imposto dall'hardware)
 
 
ciao
luca
 
 
 
 
 
 
 

 imposto dall'hardware)
 
Se ho capito bene il tuo consiglio, la configurazione che suggerisci è 
già presente: i 3 stripeset sono ciascuno su 4 HD separati dagli altri, 
come già detto. Io ho eseguito i test anche singolarmente su ciascun 
drive logico, e ad esempio quando li eseguivo sul primo vedevo attività 
solo sui primi 4 HD dell'array, tramite i LED frontali.
 
Grazie.
 
-- 
01

 dicendomi che in questa configurazione non è possibile?
 
non ho scritto che la cache e' difettosa o malfunzionante
ma che e' normale che funzioni cosi', fin quando il controller
riesce a mantenere in memoria cache (128MB) i dati per il
calcolo della parita', le prestazioni in scrittura (di picco)
sono buone, dopodiche' c'e' una diminuzione brusca della
velocita' (sostenuta), situazione aggravata dalla disattivazione
della cache dei dischi
 
ma anche questo e' normale perche' si e' voluto privilegiare
l'affidabilita' del sistema di storage, cache write back con BBU
sul controller e cache disabilitata sui dischi
 
ci sono alcuni controller che permettono di "bypassare"
questo metodo ma sul manuale non ho trovato informazioni
utili
 
prova a cambiare la politica della cache in "write through"
su un solo array di 4 unita' ed a  riattivare la cache sui dischi
(se funziona) oppure configurando l'array in RAID-10
in modo da alleggerire i compiti del controller dell'MSA20 ,
in quest'ultimo caso sarai costretto a ricreare il volume logico
(perdita dati)
 
non credo si possa agire sulla configurazione dell'SA6400 ,
l'unica prova e' modificare le impostazioni della cache,
disattivandola o impostandola su write through
(ad intuito non dovrebbe incidere)
 
a memoria ricordo che ci sono altre impostazioni tipo "queue depth" ,
"lettura/scrittura %" ma forse e' meglio che fai l'elenco
di quelle disponibili, sia a livello di disco fisico che logico
 
per quanto riguarda il test in scrittura, prova prima con una
"semplice" copia file misurando i tempi di trasferimento
(sempre in locale) e poi con "dd" , in modo da avere una
rilevazione in condizioni reali
 
il problema della lentezza in scrittura si e' verificato di recente
o e' sempre stato cosi' (o non ci si e' mai fatto caso) ?
in lettura come si comporta ?
 
 
ciao
luca
 
 
 
 
 

 in lettura come si comporta ?
 
In lettura nessun problema.
 
-- 
01

 Proverï¿œ a vedere se c'ï¿œ questa possibilitï¿œ, grazie.
 
Ho controllato, e purtroppo non ho a disposizione nessuna opzione di 
questo genere.
 
Ho aggiornato i firmware dei controller. Non ho potuto fare il boot 
dagli appositi DVD scaricati dal sito HP perchï¿œ il server ha solo un 
lettore CD :-P, ma pazienza.
 
Ho quindi fatto altri test, e notato questa stranezza, ripetendo i test 
piï¿œ volte con trasferimento o creazione di un file da 2 GB:
 
- sul primo array, che si trova sugli HD 1-2-3-4, la scrittura ï¿œ molto 
lenta, circa 10 MB/s.
 
- sul secondo array, HD 5-6-7-8, ï¿œ veloce: circa 90 MB/s.
 
- sul terzo, HD 9-10-11-12, ï¿œ veloce ma non come dovrebbe: circa 35-40 MB/s.
 
Non capisco perchï¿œ questa differenza. Gli HD risultano tutti in buono 
stato, e per quel che posso vedere non ci sono differenze di 
configurazione...
 
Se hai voglia di dargli un'occhiata, qui c'ï¿œ il report completo di HP ACU:
http://dl.dropbox.com/u/40900343/ADUReport.txt
 
 
-- 
01

 
http://dl.dropbox.com/u/40900343/ADUReport.txt
 
 
si', ho letto il log, ho trovato alcune sezioni "sospette",
ad esempio :
 
MSA20 in E01YMLJ--- : MSA20 : Identify Controller
Position Device              Status
 -------- ------------------- ------------- 
0        Physical Drive 1:1  Informational
1        Physical Drive 1:2  Informational
2        Physical Drive 1:3  Informational
 3        Physical Drive 1:4  Informational
 4        Physical Drive 1:5  Informational
 5        Physical Drive 1:6  Informational
 6        Physical Drive 1:7  Informational
 7        Physical Drive 1:9  Informational
 8        Physical Drive 1:10 Informational
 9        Physical Drive 1:11 Informational
 10       Physical Drive 1:12 Informational
 
sembra che ci siano solo 11 dischi )manca il Drive 1:8)
mentre piu' in basso c'e' lo stesso elenco ma ci sono
tutti i 12 dischi
 
l'anomalia e' confermata nella descrizione del disco logico 2
dove manca il drive 1:8 (solo in Drive Assignment Map
e non in Big Drive .. ma non so che differenza c'e' ..)
 
MSA20 in E01YMLJ--- : SATA Array B : Logical Drive 2 : Logical Drive
Configuration
Drive Assignment Map                 0x00000070
Position Device             Status
-------- ------------------ -------------
4        Physical Drive 1:5  Informational
5        Physical Drive 1:6  Informational
6        Physical Drive 1:7  Informational
 
 
poi ho trovato una nota sui dischi fisici 4 e 12
 
MSA20 in E01YMLJ--- : Internal Drive Cage at Box 1 : Drive Cage (Bottom) :
Physical Drive 1:4 : Physical Drive Status
Last Failure Reason                  Phy Reset Failed (0x38)
 
MSA20 in E01YMLJ--- : Internal Drive Cage at Box 1 : Drive Cage (Top) :
Physical Drive 1:12 : Physical Drive Status
Last Failure Reason                  Phy Reset Failed (0x38)
 
mentre sugli altri dischi fisici non ci sono errori/segnalazioni
(ricontrolla per maggior sicurezza)
 
sinceramente non so come ti possa aiutare anche perche'
il disco logico con basse prestazioni e' il primo
 
arrivati a questo punto, smonta e rimonta il disco logico 1,
se c'e' un disco fisico difettoso e' piu' facile che venga
rilevato in fase di inizializzazione (potresti anche smontarli
e provarli su un desktop con i soliti strumenti diagnostici)
 
per quanto riguarda la risposta in sospeso, aspettavo
questi altri test per rispondere, aggiungo che per avere
una controprova potresti effettuare la procedura
di backup (quella lunga) su un disco logico veloce
e cronometrare il tempo di elaborazione (e ripeterla
sui disco logico "ricreato" da zero)
 
ciao
luca
 
 
 
 
 

 sui disco logico "ricreato" da zero)
 
Non è così semplice perché la procedura di backup coinvolge i diversi 
dischi logici dell'array a vari livelli, soprattutto in lettura in 
realtà, ma anche in scrittura per appoggio. La destinazione finale è 
altrove.
 
Ma ho buone notizie: dopo gli aggiornamenti firmware, test e piccole 
ottimizzazioni dello script di backup, effettuati la settimana scorsa, 
mi hanno detto oggi che il backup del fine settimana ha impegato 24 ore 
(e oltre) meno del solito! Ho riguadagnato il 50% del tempo.
 
A questo punto direi che posso considerare il problema "sufficientemente 
risolto" ;). Se prima o poi riuscirò a capire il perché della lentezza 
rimasta nel primo disco logico... ben venga. Altrimenti passerò oltre.
 
Grazie davvero per l'aiuto!
 
-- 
01

 rimasta nel primo disco logico... ben venga. Altrimenti passerò oltre.
 
tieni sotto controllo il disco fisico 1:8 ed il relativo caddy,
se hai la possibilita' di cambiarlo fai anche questo tentativo
 
buona fortuna :)
 
ciao
luca
 
 
 
 
 

 rilevare
 
Be', in teoria è proprio in questi casi che i sw diagnostici dovrebbero 
essere di aiuto...
 
Grazie ancora.
 
-- 
01

 posso fare in qualsiasi momento.
 
secondo me, se i controlli a campione eseguiti finora non ti
hanno portato da nessuna parte,  il problema va risolto alla
radice, in ordine sparso :
 
- ricreare da zero le unita' logiche
- controllo individuale dei dischi fisici (prestazioni, SMART
  e verifica settori danneggiati)
- controllo hardware degli slot e relative connessioni
- contattare supporto tecnico HP
- scambio slot/disco di unita' sospette
 
per iniziare potresti fare una di queste operazioni sul
volume logico incriminato o sul disco fisico sospetto
 
considera che nell'MSA20 ci sono dischi SATA di classe consumer
e non enterprise, anche se certificati da HP non sono certo degli
SCSI/SAS adatti ad un utilizzo 24/7 , dopo 5-6 anni di lavoro
continuativo potrebbero esserci problemi che il sw diagnostico
non rileva (insisto nel dire che non sono infallibili)
 
ciao
luca
 
 
 
 
 

 radice, in ordine sparso :
[...]
 
Grazie dei consigli, che condivido - a parte l'idea di contattare il 
supporto HP, visto che non c'è neanche un contratto di assistenza attivo 
:-P.
Purtroppo il sistema si trova in un luogo e un contesto un po' 
particolari e piuttosto che interrompere il servizio e fare tutte quelle 
prove si preferisce andare avanti così, per ora.
Tornerò all'attacco se necessario.
 
-- 
01