Den eneste gang festningen faktisk var i kamp var da Sverige invaderte Norge i 1814. Svenske styrker og artilleri ble landsatt på sørspissen av Kråkerøy, artilleriet ble fremskutt til et høydedrag på Kråkerøy som siden fikk navnet Svenskeberget, et navn som fortsatt finnes på bykartet. Herfra ble den sydlige del av festningsbyen beskutt. Stillingen var uholdbar, festningen lå helt åpen for fiendtlig ild og beskytingen kunne medføre betydelige tap blant ca. 800 sivile og 1200 soldater. Den 4. august 1814 etter bare ett døgn med trusler fra svensk side, kapitulerte oberstløytnant Hals for de svenske styrkene. Hals ble senere dømt til døden, men benådet.