Im Klöppelkrieg, einem Aufstand luxemburgischer Bauern gegen die französische Besatzung, war Schloss Clerf einen Tag lang „Kriegsschauplatz“. Wie überall im Land brach am 30. Oktober 1798 auch in Clerf der Widerstand zusammen. Einige Aufständische hatten sich vor ihren französischen Verfolgern ins Schloss geflüchtet und konnten sich später fast alle durch eine Ausfallpforte in Sicherheit bringen. Als 1854 mit Adrien de Lannoy der letzte männliche Vertreter dieser Familie verstorben war, entwickelte sich ein Erbfolgeprozess, den die Familie de Berlaimont für sich entscheiden konnte. Unter Adrien de Berlaimont wurde 1885/87 die Vorburg des Schlosses abgerissen, lediglich der Torbau, der Pferdestall und der "Hexenturm" blieben erhalten. Mit den beim Abbruch gewonnenen Steinen wurde nordöstlich des alten Schlosses ein kleines Palais errichtet.