Tras el ataque del pirata inglés Robert Searle en 1667, se decidió edificar un castillo de piedra para proteger la ciudad.