Hacia finales del siglo, el entonces llamado Palacio de los Virreyes, concebido para la defensa, tenía el aspecto de una fortaleza, con dos torres en las esquinas protegidas por artillería, con pocas ventanas y con troneras para la fusilería".