I 1627 brant store deler av Haderslev og byen ble okkupert av Torquato Conti. I 1644 fulgte Torstensons okkupasjon og slottet ble brent. Det ble ikke oppført igjen og stenene ble i stedet benyttet av byens borgere til gjenoppbyggingen av byen.