Posteriormente, en la segunda mitad del siglo XX, los cuarteles fueron derribados dejando el solar donde se ha edificado recientemente el Baluarte, manteniéndose únicamente el del Gobierno Militar.