Die Gärten und das Palais waren im Verlauf der napoleonischen Kriege bei den Kämpfen um das Peterstor im April 1809 schwer beschädigt worden und kamen im ruinösen Zustand in den Besitz des Hauses Thurn und Taxis. Nach den Wünschen der Fürstin Therese ließ ihr Ehemann das Gartenpalais für 2.000 Gulden wiederherstellen und über dem Portikus die Inschrift „Theresens Ruh“ einschreiben. Das anmutige Gebäude sollte seiner hochgelobten Ehefrau zur Einrichtung und zur Nutzung ihrer großen, 1800 Bände umfassenden Privatbibliothek dienen. Die Ausleihe besonders der Reiseberichte, Almanache und Frauentaschenbücher fand so großes Interesse, dass eine Bibliotheksordnung erlassen werden musste. An diesem romantischen Ort fand Fürstin Therese auch Gelegenheit, kulturelle Kontakte zu pflegen und sich mit den Werken der Literaten Klopstock, August Kotzebue, Johann Caspar Lavater, Rückert und Jean Paul zu treffen, der ihr sehnsuchtsvolle Briefe nach weiteren Begegnungen schrieb.