Festningen ble overtatt av nordstatstyrker den 11. mars 1862 da krigsskipet gikk inn i bukten og fant byen evakuert. Byens ledere var villig til å overgi seg for å redde byen, og byen og festningen ble erobret uten at et skudd ble løsnet. Gjennom resten av festningens historie som militært fort ble det brukt som et militærfengsel.