Die Gärten und das Palais wurden im April 1809 bei der Kampf um das Peterstor schwer beschädigt. Möbel und Bauschreinereiprodukte wurden von den feindlichen Truppen für die Lagerfeuer zu Kleinholz verarbeitet. Die Situation veranlasste Sternberg „...alle Träume meines [seines] früheren Daseins aufzugeben...“ und das Grundstück mit Haus zu veräußern.