Tijdens de Bourgondische Successieoorlog (1477-1492) was de burcht opnieuw van strategisch belang, toen de Fransen vanuit Doornik het zuiden van Vlaanderen binnenvielen. Toen in 1521 het Doornikse werd ingelijfd door de troepen van Karel V, was de militaire betekenis van de burcht sterk verminderd. Het bouwwerk werd verwaarloosd en in 1618 woedde er een brand waardoor het kasteel werd verwoest en vervolgens gesloopt. In 1628 werd het bisschoppelijk kasteel opnieuw opgebouwd, omdat de spanningen tussen de Spaanse Nederlanden en Frankrijk toenamen. Het gebouw was voor die tijd zeer luxueus ingericht. Er kwamen tuinen en welingerichte salons. De nog overeind gebleven delen van de middeleeuwse burcht werden in dit paleis opgenomen, waaronder de donjon die als verblijf voor de bisschop werd ingericht.