Fortet motstod angrep i 1646 under fra nederlenderne. Forsvaret bestod av fem spanske og to filippinske kompanier. I de neste århundrer var det sentralt i mange slag mellom -pirater og spanske soldater. Men det ble også forvare seg mot angrep fra portugisere, nederlendere og franskmenn. I 1663 ble festningen delvis ødelagt, men stod gjenoppbygd i 1719.