In der Völkerschlacht bei Leipzig 1813 blieb das Herrenhaus unversehrt, der Park aber erlitt große Schäden, die erst nach 20 Jahren vollständig beseitigt waren. In diese Zeit fällt auch die Errichtung des Monopteros. An Prominenten, die im 19. Jahrhundert Abtnaundorf und seinen Park besuchten, sind vor allem Robert Schumann (1810–1856) und seine Frau Clara (1819–1896) zu nennen, die mit Livia Frege (1818–1891) befreundet war. 1866 legte Richard Woldemar von Frege (1811–1890) westlich des Herrenhauses ein Rosarium als Pleasureground an, und sein Sohn Arnold Woldemar ließ 1893 durch den Architekten Peter Dybwad (1859–1921) das Herrenhaus neu errichten, das nun auch Schloss genannt wurde.