Tiedens et beleg van Hoarlem in 1573 wodden et kastele plunderd en in braand estokken deur Spaanse soldoaten. Vervolgens veel de ruïne ten prooi an et oprukkende stoefzaand van de dunen.