Die leichte Holzbauweise des Schlosses hielt auf Dauer nicht der Witterung stand. Der feuchte Untergrund ließ die Wände verfaulen und die Instandhaltung war kostspielig. Zur Regierungszeit von Herzog Karl Wilhelm Ferdinand Ende des 18. Jahrhunderts reichte die herzogliche Kasse nicht mehr für die Unterhaltung aus. Das höfische Leben erlosch, und die Gebäude verfielen. Auch die Gärten verwilderten, Plastiken waren umgestürzt, die Orangerie stürzte 1797 ein. Ende des Jahres 1806 ließ Napoleon Bonapartes Intendant Dominique-Vivant Denon die 250 wertvollsten Stücke der Kunstsammlung in den Pariser Louvre schaffen. 1810, als das Gebiet Teil des Départements Oker war, schenkte König Jérôme von Westfalen der Stadt Braunschweig die ungenutzten Schlossbauten zur Verwertung, um so die Stadt für die großen Summen zu entschädigen, die sie für den aufwändigen Ausbau des Braunschweiger Schlosses aufbringen musste. Am 24. November 1810 wurden das Inventar und die letzten Kunstschätze – darunter 800 Gemälde – des Salzdahlumer Schlosses versteigert. Die Bilder kamen nach der Befreiung von der Franzosenherrschaft teilweise zurück und gelangten später in das Herzog Anton Ulrich-Museum in Braunschweig. 1811 wollte die Stadt Braunschweig das Schloss auf Abbruch verkaufen, um die laufenden Unterhaltskosten einzusparen. Sie fand jedoch für den geschätzten Wert von 30.000 Talern keinen Interessenten. Daraufhin ließ sie das Schloss selbst abreißen und versteigerte die Baumaterialien. 1813 waren die Abbrucharbeiten beendet.