Het kasteel was in 1572 en 1573 het hoofdkwartier van de Spanjaarden tijdens het Beleg van Haarlem. In 1573 werd Huis ter Kleef opgeblazen door Don Frederik (de zoon van de hertog van Alva). Dit deed hij om te voorkomen dat de Geuzen zich in het kasteel zouden vestigen om Haarlem te heroveren.