Anlegget ble trolig ødelagt i bybrannen i 1617. I 1622 ble det vedtatt at blokkhuset på Kuholmen skulle gjenoppbygges. I 1656 var Blokkhuset og batteriene delvis ødelagt av uvær, og måtte repareres. Under den store nordiske krigen, ble det i 1716 bygget 19 favner ekstra steinmur, og det ble gjort reparasjoner på det øvrige anlegget. I anledning besøket av kong Kristian VI i 1733, ble Skansehuset gjenreist, kanonene fikk igjen skikkelig underlag, stein og jord ble kjørt fram, nytt flagg og store mengder krutt ble kjøpt inn.