Durante todo el siglo XVII se paró la obra, hasta que en tiempos de Fernando VI se acomete una importante ampliación, que continuará Carlos III dotándolo de unas alas que encierran el patio de armas, tal y como se puede contemplar hoy en día.