Després de la victòria filipista es va començar un programa de construcció i remodelacions de l'actual castell al voltant de la torre anglesa que no va concloure fins a la reforma duta a terme entre 1861 i 1883. L'objectiu de la fortificació era el de protegir la bocana del port de la ciutat, si bé durant la Guerra Civil se li va donar també l'ús de presó militar.