Tras un ataque francés en el siglo XV, el marqués de Valparaíso propuso a Felipe IV la reforma de la fortificación, que concluiría en el siglo XVIII, cuando se construyó la casa del Gobernador con su capilla neoclásica en el eje de la composición del edificio.