Newsgroup: it.comp.os.linux.sys
Titolo: PERC H200: Unrecovered read error

Ho una PERC H200 in RAID10 che mi sta dando noie.
Questo è ciò che scrive:
 
Mar 14 21:40:27 x4 kernel: sd 0:1:0:0: [sda] Unhandled sense code
Mar 14 21:40:27 x4 kernel: sd 0:1:0:0: [sda] Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
Mar 14 21:40:27 x4 kernel: sd 0:1:0:0: [sda] Sense Key : Medium Error [current] 
Mar 14 21:40:27 x4 kernel: Info fld=0x495cb
Mar 14 21:40:27 x4 kernel: sd 0:1:0:0: [sda] Add. Sense: Unrecovered read error
Mar 14 21:40:27 x4 kernel: sd 0:1:0:0: [sda] CDB: Read(10): 28 00 00 0d c1 c8 00 00 08 00
Mar 14 21:40:27 x4 kernel: end_request: I/O error, dev sda, sector 901576
 
 
Presumo quindi ci sia un disco rotto.
Eppure, tolto quello di cui sto facendo rebuilding, gli altri sono tutti online e apparentemente funzionanti:
 
# /usr/local/sbin/sas2ircu 0 DISPLAY
LSI Corporation SAS2 IR Configuration Utility.
Version 20.00.00.00 (2014.09.18) 
Copyright (c) 2008-2014 LSI Corporation. All rights reserved. 
 
Read configuration has been initiated for controller 0
------------------------------------------------------------------------
Controller information
------------------------------------------------------------------------
  Controller type                         : SAS2008
  BIOS version                            : 7.11.01.00
  Firmware version                        : 7.15.04.00
  Channel description                     : 1 Serial Attached SCSI
  Initiator ID                            : 0
  Maximum physical devices                : 39
  Concurrent commands supported           : 2607
  Slot                                    : 0
  Segment                                 : 0
  Bus                                     : 3
  Device                                  : 0
  Function                                : 0
  RAID Support                            : Yes
------------------------------------------------------------------------
IR Volume information
------------------------------------------------------------------------
IR volume 1
  Volume ID                               : 79
  Status of volume                        : Degraded (DGD)
  Volume wwid                             : 05051e850439df49
  RAID level                              : RAID10
  Size (in MB)                            : 856704
  Physical hard disks                     :
  PHY[0] Enclosure#/Slot#                 : 1:0
  PHY[1] Enclosure#/Slot#                 : 1:1
  PHY[2] Enclosure#/Slot#                 : 1:2
  PHY[3] Enclosure#/Slot#                 : 1:3
  PHY[4] Enclosure#/Slot#                 : 1:4
  PHY[5] Enclosure#/Slot#                 : 1:5
------------------------------------------------------------------------
Physical device information
------------------------------------------------------------------------
Initiator at ID #0
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 0
  SAS Address                             : 5000c50-0-88fa-287d
  State                                   : Optimal (OPT)
  Size (in MB)/(in sectors)               : 286102/585937499
  Manufacturer                            : SEAGATE 
  Model Number                            : ST3300657SS     
  Firmware Revision                       : 000B
  Serial No                               : 6SJ92DZP0000N541122P
  GUID                                    : 5000c50088fa287f
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 1
  SAS Address                             : 5000c50-0-88fa-27cd
  State                                   : Optimal (OPT)
  Size (in MB)/(in sectors)               : 286102/585937499
  Manufacturer                            : SEAGATE 
  Model Number                            : ST3300657SS     
  Firmware Revision                       : 000B
  Serial No                               : 6SJ92F5S0000N541146H
  GUID                                    : 5000c50088fa27cf
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 2
  SAS Address                             : 5000cca-0-18ad-6efd
  State                                   : Optimal (OPT)
  Size (in MB)/(in sectors)               : 286168/586072367
  Manufacturer                            : HITACHI 
  Model Number                            : HUS156030VLS600 
  Firmware Revision                       : A510
  Serial No                               : JXY2BVEN
  GUID                                    : 5000cca018ad6efc
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 3
  SAS Address                             : 5000cca-0-1f1b-8fe9
  State                                   : Optimal (OPT)
  Size (in MB)/(in sectors)               : 286168/586072367
  Manufacturer                            : HITACHI 
  Model Number                            : HUS156030VLS600 
  Firmware Revision                       : A5D0
  Serial No                               : J0VH4X1N
  GUID                                    : 5000cca01f1b8fe8
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 4
  SAS Address                             : 5000cca-0-1f14-88ad
  State                                   : Optimal (OPT)
  Size (in MB)/(in sectors)               : 286168/586072367
  Manufacturer                            : HITACHI 
  Model Number                            : HUS156030VLS600 
  Firmware Revision                       : A5D0
  Serial No                               : J0VB92HN
  GUID                                    : 5000cca01f1488ac
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 5
  SAS Address                             : 5000cca-0-2a58-5489
  State                                   : Rebuilding (RBLD)
  Size (in MB)/(in sectors)               : 286168/586072367
  Manufacturer                            : HITACHI 
  Model Number                            : HUS156030VLS600 
  Firmware Revision                       : A5D0
  Serial No                               : LVWKKXYM
  GUID                                    : 5000cca02a585488
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
 
Device is a Enclosure services device
  Enclosure #                             : 1
  Slot #                                  : 9
  SAS Address                             : 5882b0b-0-53f6-6d00
  State                                   : Standby (SBY)
  Manufacturer                            : DP      
  Model Number                            : BACKPLANE       
  Firmware Revision                       : 1.07
  Serial No                               : 18L02C4
  GUID                                    : N/A
  Protocol                                : SAS
  Device Type                             : Enclosure services device
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
  Enclosure#                              : 1
  Logical ID                              : 5782bcb0:53f66d00
  Numslots                                : 9
  StartSlot                               : 0
------------------------------------------------------------------------
SAS2IRCU: Command DISPLAY Completed Successfully.
SAS2IRCU: Utility Completed Successfully.
 
 
 
Come faccio a sapere qual'è effettivamente il disco che è andato a donne facili? Mi piacerebbe conoscere l'associazione tra "sda", che corrisponde al vdisk esportato dalla PERC, ed il disco fisico.
 
Perchè ho come l'impressione che da qui a breve mi ritroverò con un server a puttane e conseguente perdita di dati.
 

 Perchè ho come l'impressione che da qui a breve mi ritroverò con un server a puttane e conseguente perdita di dati.
 
Se interpreto bene:
 
# sg_logs /dev/sg4 -p2
    HITACHI   HUS156030VLS600   A5D0
Write error counter page
  Errors corrected without substantial delay = 0
  Errors corrected with possible delays = 6320134
  Total rewrites or rereads = 0
  Total errors corrected = 6320134
  Total times correction algorithm processed = 0
  Total bytes processed = 24615961929728
  Total uncorrected errors = 0
 
# sg_logs /dev/sg4 -p3
    HITACHI   HUS156030VLS600   A5D0
Read error counter page
  Errors corrected without substantial delay = 0
  Errors corrected with possible delays = 6867498
  Total rewrites or rereads = 0
  Total errors corrected = 6867498
  Total times correction algorithm processed = 4561873
  Total bytes processed = 29827905800704
  Total uncorrected errors = 31445
 
 
 
 
sg4 ha degli errori in lettura. Il che spiegherebbe come mai la ricostruzione del raid10 sta impiegando decine di ore per fare lo 0.12%
 
Ora: come faccio a capire chi è sg4, visto che sg_log mostra il modello ma non il seriale e sul server ho 3 dischi pari-modello ?
 
Vorrei, ma qui chiedo suggerimenti, sostituire sg4 con un disco nuovo, ma:
 
1) se lo faccio mentre il raid è in rebuilding, perdo tutto ? 
2) il raid10 in teoria è un raid0 abbinato a X coppie di dischi in raid1, quindi in teroia, avendo 6 dischi, dovrei avere 3 raid1. Di questi 3 raid1, posso sostituire 3 dischi, 1 per ciascun raid1.
 
In base al punto 2, come faccio a sapere quali dischi sono in quale raid ed evitare di cambiare entrambi i dischi della stessa coppia ?
 
In pratica, visto che migrare 860GB di virtualmachine non è praticabile in breve tempo, *DEVO* trovare il modo di rimettere in piedi il tutto e sostituire i dischi. (o meglio, il disco, dato che quello attualmente in rebuilding è nuovo è funzionante. Io credo che il problema derivi da errori in lettura di sg4, non dal disco nuovo sostituito oggi)

 Ora: come faccio a capire chi è sg4, visto che sg_log mostra il modello ma non il seriale e sul server ho 3 dischi pari-modello ?
 
prova 
http://karol.miaskiewicz.com/?p=627
 
 

Non ho gli smartmon tools installati e fatico ad installarli a causa dei problemi al disco 
 
Se rimuovo un altro disco e lo rimpiazzo durante il rebuilding, perdo tutto vero? 
 
Ho paura che trattandosi di raid10 lui stia cercando di leggere i dati dal suo disco gemello che a quanto pare è guasto. 
 
Fosse un raid 6 non avrei problemi a cambiare 2 dischi.

 Fosse un raid 6 non avrei problemi a cambiare 2 dischi.
 
In bocca al lupo!d
 

 siano i backup.
 
Backup li ho, ma è sempre un dito nel culo, scusate il francesismo.
Sono aggiornati a ieri, dato che quello di questa notte non è stato completato correttamente causa load pauroso sulla macchina.
 
Ora abbiamo clonato una VM pressochè identica e tramite rsync migriamo tutto.
Sono oltre 100GB di dati, richiederà parecchie ore.
 
Tutto questo casino si risolverebbe potendo cambiare il disco che ha errori in lettura, ma senza sapere a quale RAID1 del RAID10 fa parte, non posso cambiarlo. Sfiga mi dice che si tratta proprio del gemello che sta attualmente ricostruendo.

 attualmente ricostruendo.
 
Ma non hai neanche lshw?
A me da il device, marca, modello e seriale
-- 
Roberto Tagliaferri-Linux user #30785 <-> r.tagliaferri@(forse)
tosnet.it
 
www.robyt.eu
 
 

 Ma non hai neanche lshw?
 
No. E' un Dom0 di XenServer, nudo e crudo.
 
Ma oltretutto io devo sapere la configurazione del RAID10, non posso cambiare il disco senza sapere che quello che andrò a sostituire non fa parte di una coppia differente.
 
Mi preoccupa il fatto che OpenManage non si accorga del problema e mi dica tutto ok (tolto il rebuilding)
 
Se non mi fossi accorto io del problema ed avessi sostituito un altro disco, sarebbe stato un bel casino.

 Ora: come faccio a capire chi è sg4, visto che sg_log mostra il modello ma non il seriale e sul server ho 3 dischi pari-modello ?
 
Ho identificato il disco, basandomi sul SAS Address riportato da sg_logs e OpenManage.
 
Resta solo una grande, grandissima incognita: in quale RAID1 si trova ?
 
Ovviamente, il disco in questione è quello antecedente l'attuale rimpiazzo.
Sto rimpiazzando il disco 6, quello che da errori in lettura è il 5.
Se accoppia andando in fila: 1+2, 3+4, 5+6, sono fottuto.

 Ho identificato il disco, basandomi sul SAS Address riportato da sg_logs e OpenManage.
 
Domanda forse banale: ma se il raid ricostruisce i dati da un disco rotto, i dati ricostruiti sul disco "buono", saranno poi trattati come errori di lettura?
 
Mi domando questo perchè ho cambiato il famoso disco #5 sostituendolo con uno nuovo di pacca. Ha terminato il rebuild (non so come, ma dopo 3 giorni l'ha terminato). Ora sto facendo un check di consistenza e mi segnala errori di lettura anche dal disco nuovo.
 
O tutta la controller è fottuta ed inizia a dare i numeri, oppure ho sincronizzato dati illeggibili dal disco 4 verso il 5, ed ora leggendo dal 5 lui li segna come errori di lettura. E' plausibile ?
 
Altrimenti non me lo spiego.

 O tutta la controller è fottuta ed inizia a dare i numeri, oppure ho sincronizzato dati illeggibili dal disco 4 verso il 5, ed ora leggendo dal 5 lui li segna come errori di lettura. E' plausibile ?
 
Entrambi i dischi in questione sono associati al medesimo backplane.
I dischi da 1 a 4 fanno parte del backplane 0:0 ed apparentemente funzionano, i dischi 5 e 6 sono nel backplane 1:0 e stan dando problemi.

Premetto che non ho mai avuto controller perch.
Ma su controller IBM serverRaid mi sono capitati casi simili e la controllor
segnalava delle bad stripes.
E su queste controller l'unica maniera per risolvere le bad stripe è ricreare il raid e ripartire dal Backup.
 


Il mio problema è l'opposto: la perc non segnala alcuna anomalia, anzi, mi dice che è tutto ok, mentre in realtà il disco sottostante ha problemi, vedo aumentare il numero di errori di lettura e sopratutto ho errori I/O con l'esecuzione di alcuni comandi o l'accesso ad alcuni file/directory

Non so se la perch rileva il caso delle bad stripes, ma il comportamento è lo stesso.
Status del Raid ok dopo la rebuild  ma quando accedevi a certi file/directory errori su disco.
La segnalazione delle bad stripes la vedevi solo dal sofware RaidManager oppure entrando nella miniconfigurazione della scheda raid in fase di boot.
 
Ps.
Attenzione a fare il reboot a me il problema interessava anche dei settori di boot e non sono più riuscito a farlo ripartire.

 Attenzione a fare il reboot a me il problema interessava anche dei settori di boot e non sono più riuscito a farlo ripartire.
 
Infatti non riavvio, nonostante l'abbia suggerito il "tecnico" DELL.
Ora il server è operativo, ho fatto un check consistency, ho il raid su "Ok" e sembra funzionare tutto. La PERC è felice.
 
Tralasciando i settori illeggibili, sarei quasi per rimpiazzare il disco in questione, dato che il RAID è stato ricostruito.
 
In pratica, ricapitolo: ho due dischi (5,6) facenti parte di un raid10 a 6 dischi. Ho cambiato il disco 6 con uno nuovo di pacca. La ricostruzione è partita ed ha iniziato a dare raffiche di errori in lettura dal disco 5.
 
Terminata la ricostruzione, raid su Ok, ho fatto un check consistency. Raffiche di errori in lettura dal disco 5, errori in lettura dal disco 6 (nuovo)
 
da qui la domanda: se ricostruisco un raid con errori in lettura, i dati 'rotti' scritti sul disco buono, vengono rilevati come rotti anche in fase di lettura? Mi sembra strano.
 
Non so se cambiare il disco 5 o lasciar stare tutto così com'è, gli errori di I/O li ho solo sul Dom0, tutti i DomU xen coinvolti funzionano correttamente.
 
Gli errori in lettura corrispondono, grossomodo, all'1% del RAID (800GB circa, quindi l'1% è 8GB) dato che superato l'1% (che richiede 48 ore), il check consistency prosegue a manetta e gli errori smettono.
 
Se libero spazio, magari 150GB, rimuovendo dei DomU non più necessari, la controller riesce a riallocare gli 8GB di settori danneggiati nei 150GB liberi ?
 
Non so cosa fare, eviterei volentieri di dover migrare 10 server quando magari mi basta sostituire il disco (che ho) con uno nuovo per risolvere. Il problema è che non so cosa possa capitare sostituendo il disco. Gli errori di I/O certamente non li risolvo, i dati danneggiati ormai son persi, l'importante è che non mi si fotta il resto del RAID.
 

Prova a dare un occhiata a questo post 
http://en.community.dell.com/support-forums/servers/f/906/t/19604693
 
E anche a questo 
http://www.dell.com/support/Article/us/en/04/438291/EN
 
 
Da quello che ho capito scorrendo velocemente quelle che Ibm chiama bad stripes Dell le chiama punctured stripes.
 


Stando al documento, io rientro nella categoria dei bad blocks: Medium Error+Unrecovered Read Error
 
Ma in teoria la PERC dovrebbe identificare i blocchi e prendere provvedimenti (o quanto meno notificare l'anomalia). La mia, nonostante il termine del check consistency, continua a dire che è tutto Ok.

Mi dispiace non poterti aiutare di più...
In bocca la lupo