1563, under Nordiska sjuårskriget, angrepps fästningen av danskarna och för att hindra dem brände svenskarna själva ned det lilla samhälle som vuxit fram sydväst om borgen, den så kallade Älvsborgs stad och stadsborna tvingades att flytta tillbaka till Nya Lödöse. Men trots detta erövrades fästningen av danskarna efter svagt motstånd den 4 september 1563. I freden i Stettin 1570 tvingas svenska staten betala en lösesumma på 150 000 riksdaler silvermynt att betalas inom tre år för att inte området ska tillfalla danskarna, vilket var en del av "Älvsborgs lösen".