Dit bleek nodig, want in 1569 werd het kasteel belegerd door de (Spaansgezinde) Gerard van Groesbeek en in 1579 werd het ingenomen door de hertog van Parma, die er vervolgens zijn hoofdkwartier vestigde tijdens het Beleg van Maastricht (1579). In 1670 moesten alle verdedigingswerken, op bevel van de prins-bisschop van Luik, worden geslecht. Sindsdien raakte het kasteel in verval, en in 1721 stortte zelfs een deel van het corps de logis in, waarbij de kunstschilder Philippe Coclers omkwam.