ત્યાર બાદ, કિલ્લાના વારંવાર પુનઃબીલ્ડ અને ડચ અને બ્રિટિશના વિસ્તારવામાં આવ્યો હતો.