En 1664 el castillo fue conquistado por los británicos siendo extensivamente reconstruido por el "Committee of Merchants" (cuyo gobernador administraba la colonia británica al completo) durante los últimos años del siglo XVIII.