Das Vorhaben gelang und zusätzlich ließ Sternberg 1805 als Treffpunkt für botanisch interessierte Bürger und Naturwissenschaftler ein Gartenpalais errichten, eine Sommervilla mit dreiteiligem Portikus, Dreiecksgiebel und Freitreppe. Die Villa hatte ihre Schaufront zum Alleenweg, so dass Vorübergehende die Inschrift über dem Portikus lesen konnten: "Das Schöne in Verbindung mit dem Guten". Im Inneren überwölbte eine Kuppel den runden Salon und außen sollten zwei Seitenflügel botanischen Zwecken dienen. Wegen der unsicheren politischen Verhältnisse hinsichtlich der zukünftigen unabhängigen Existenz des Fürstentums Regensburg verkaufte Sternberg 1806 das Gelände des botanischen Gartens und das Palais an Dalberg, konnte aber in den Folgejahren die Einrichtungen für seine naturwissenschaftliche Akademie weiterhin nutzen. Im Verlauf der napoleonischen Kriege wurden der botanische Garten und auch das Gartenpalais im April 1809 schwer beschädigt. 1810 fiel das Fürstentum Regensburg und damit auch das Gelände mit dem Gartenpalais zunächst an das Königreich Bayern und wurde dann 1813 für 6.000 Gulden von Karl Alexander von Thurn und Taxis aufgekauft. Er ließ das teilzerstörte Gartenpalais renovieren und zu einem Alterssitz für seine Ehefrau, die Fürstin Therese von Thurn und Taxis umgestalten. Die neue Inschrift über dem Porticus lautete: „Theresens Ruh“.