Tijdens het Beleg van Haarlem (1572-1573) werden de torens zwaar beschadigd. In 1589 werd gestart met het herstel van diverse beschadigde verdedigingswerken, waaronder de Raakstorens. De torens die wij kennen en zoals afgebeeld op het prentje van 1860, zijn de herbouwde versies van eind 16e eeuw. Na het beleg van Haarlem kreeg de stad genoeg middelen om de vestingwerken weer te herbouwen.