Het kasteel werd tijdens de Franse invallen (de Devolutieoorlog) van 1678 geplunderd en in brand gestoken en nadien hersteld, wat een zeer grote indruk maakte op de toenmalige bisschop Frans van Horenbeke.