In 1573 is het slot bij het Beleg van Haarlem ten dele verwoest. In de nacht van 4 op 5 mei 1747 is het huis door onvoorzichtigheid van het personeel afgebrand nadat het met kaarsen en vetpotjes was geïllumineerd ter ere van de verheffing van Prins Willem IV tot erfstadhouder. De toenmalige eigenaar, Mattheus Lestevenon, was op zijn andere adres op de Haagse Lange Voorhout en liet het huis herbouwen, maar in 1797 werd het gesloopt door eigenaar Jan Pieter van Wickevoort Crommelin (1763-1837).