Als französische Revolutionstruppen das Gebiet von Havré nach der gewonnenen Schlacht bei Jemappes besetzten, emigrierte der letzte Herzog von Havré, Joseph Anne de Croÿ. Sein Schloss wurde konfisziert und 1792 als Nationaleigentum verkauft, Allerdings erwarb es Joseph Anne 1807 für die Familie zurück. Weil er bei seinem Tod 1839 keine Kinder hinterließ, war das Schloss seit jenem Jahr verlassen und praktisch ungenutzt. Im Ersten Weltkrieg nutzte die deutsche Armee die Anlage als Lager, später diente sie als englisches Gefängnis. 1924 erwarb Edmont Puissant das schon heruntergekommene Schloss mit der Absicht, es vor dem völligen Verfall zu retten. Diesen Plan musste er aber aufgeben und übertrug die Bauten 1927 der Provinz Hennegau. 1930 stürzte ein Teil des Schlosses ein, weil sich der Untergrund wegen Bergbauarbeiten gesenkt hatte. Weitere Teileinstürze folgten, unversehrt blieben nur die Ecktürme und ein Teil des Logis. Eine Unterschutzstellung der Anlage als Denkmal im Jahr 1936 brachte keine Besserung, die Gebäude verfielen zusehends und wurden allmählich von Pflanzen überwuchert.