Na het verlies van de Watergeuzen in de Slag op het Haarlemmermeer moest Haarlem zich in 1573 na het beleg van Haarlem overgeven aan de Spaanse soldaten. Hierbij werd de protestantse Lancelot van Brederode door hen onthoofd en werd het kasteel geplunderd en in brand gestoken. Vervolgens viel de ruïne ten prooi aan het oprukkende stuifzand van de duinen. In 1579 kreeg een zijtak van de Brederodes de heerlijkheid weer van Holland in leen.