El recinto sufrió los estragos del terremoto de 1687, siendo parcialmente reconstruido por el sargento mayor Manuel Fernández Dávila, que era el mayordomo del hospital. Una segunda destrucción sufrió durante el terremoto de 1746, por lo que debió ser completamente remodelado.