El castillo fue ampliado por Juan Sin Miedo (1371-1419) y por los franceses. Se mantuvo entero hasta la Guerra de las Reuniones, cuando, una vez más, Francia intenta anexionarse todo Flandes, y ocupa la ciudad. El 29 de noviembre de 1684, una explosión de pólvora arruina el castillo. Durante cerca de un siglo no se tocaron las ruinas. Cuando los franceses ocuparon nuevamente Courtrai en 1744, destruyeron las fortificaciones de la ciudad, salvo las Torres de Broel.