Etter to måneders beleiring stormet svenskene den 24. oktober 1657 Frederiks Odde under ledelse av riksadmiral Carl Gustaf Wrangel. Festningen var på det tidspunkt ikke ferdig; vollgravene manglet vann, hovedvolden var ikke fullført og festningslinjen langs kysten var knapt påbegynt. Danskene måtte overgi seg etter en kort kamp. Festningsbyen led store skader, og kommandanten Anders Bille døde i svensk fangenskap. Ytterligere krigshandlinger i de kommende år, etterlot byen i en miserabel forfatning, og i 1664 besluttet kongen at den skulle skifte navn til Fredericia.