Umdat de Hoken in 1426 Hoarlem belaegerden verwoostten de Kabeljauwen et zudeleke deel van et kasteel. Et wodden Willem van Brederode verboaden et kastele te ""verstarken, vastmaken of te bolwarken"" woardeur et neet harsteld kon wodden. Uutendelek wodden in 1464 toch et noordeleke deel wier hersteld. Tiedens den opstaand van et Keze- en Broodvolk in 1492 wodden et kasteel plunderd deur Duutse soldoaten. Vanaf dee tied wöd et neet meer bewond.