Under Hannibalfeiden i 1643 rykket imidlertid svenske tropper inn på festningen og ble der inntil freden i Brømsebro i 1645. Deretter bemannet Danmark festningen igjen. Etter Christian IVs død ble festningen revet på Frederik IIIs ordre. Men i 1663 begynte man å bygge den opp igjen. Festningen ble konstruert som en uregelmessig femkant med fem bastioner på hver side og en dobbelt vanngrav hele veien rundt. I gravene befant det seg flere trekantede raveliner som delvis var forbundet med hovedfestningen. På strandsiden utenfor vollene ble det oppført flere skanser og sjøbatterier.