Den første kommandanten ble utnevnt 6. januar 1662. Det var oberstløytnant Johan Eberhard Speckhan. Foruten selve garnisonen sto fra 1730-årene til omkring midten av 1800-tallet slaveriet under kommandanten. I 1716 var festningen Tordenskiolds base under operasjonene på den svenske vestkysten. Samme år invaderte Sverige, og da svenske ryttere fra Carl Mörners hæravdeling ble sett utenfor festningen, skjøt kommandant Wilster låvene på bymarkene i brann og satt også fyr på bebyggelsen på Vaterland.