En større utbygning av fortet i 1724 erstattet tømmerkonstruksjonen med røde mursteiner som vi kjenner i dag. I 1874 ble utkikkstårnet Tryborg og den nordre del ødelagt og klokketårnet ble bygd, i tillegg til at mange lagerrom og kontorer ble omgjort til celler. Cellene ble blant annet brukt til å fengsle plantasjeeierne som ikke betalte skatt.