Der heutige Alte Botanische Garten geht auf den Herzog Friedrich zurück, der in einem Dekret von 1804 die Anlage anordnete und Carl Friedrich Kielmeyer mit dem Aufbau beauftragte. Der Garten entstand zwischen 1806 und 1809 an einer Stelle, an der sich bereits Anfang des 17. Jahrhunderts der sogenannte Tummelgarten befand, der von den adeligen Studenten des Collegium Illustre für Kämpfe und Turniere genutzt wurde. Im hinteren Teil des Gartens, an der Ammer, wurde ein Palmenhaus gebaut. Im Juni 1865 fand in dem Gewächshaus eine Gewerbeausstellung statt, die auch König Karl auf seiner Huldigungsreise durch Württemberg besuchte. Von den Fotografen präsentierten dort ihre Arbeiten nur Carl Baumann und sein Sohn Carl Immanuel. 1886 entstand an dieser Stelle ein neues Bauwerk, das zwar aus Glaspaneelen und Metallverstrebungen bestand, aber Stilelemente der Neurenaissance und des Jugendstils enthielt. Sein Sockel war aus Gönninger Tuffsteinen gebaut. Das in Südwestdeutschland einzige Bauwerk dieser Art orientierte sich architektonisch am großen Kristallpalast der ersten Weltausstellung in London (1851). Nachdem der neue Botanische Garten in der Nähe des Botanischen Instituts auf der "Morgenstelle" 1970 eröffnet wurde, wurde der bisherige zum Stadtpark umgestaltet. Trotz zahlreicher Bürgerproteste fiel das Palmenhaus der städtebaulichen Ignoranz zum Opfer – es wurde abgetragen.