Als Batsch 1803 im Alter von 42 Jahren starb, wurde Franz Josef Schelver (1778–1832) neuer Direktor. Schelver verließ aber nach nur dreijähriger Amtszeit im Zuge der Wirren während der Schlacht bei Jena und Auerstedt am 14. Oktober 1806 die Stadt fluchtartig, nachdem er von den Franzosen ausgeplündert und sein Besitz verwüstet worden war. Auch der Garten hatte schwere Kriegsschäden erlitten, das "botanische Cabinet" wurde vollständig ruiniert und es standen wenige Mittel für den Unterhalt des Gartens zur Verfügung. Schelver verzichtete briefschriftlich formell auf sein Amt und nahm eine Professur in Heidelberg an, sein Nachfolger wurde auf Empfehlung Goethes Prof. Friedrich Siegmund Voigt, der versuchte, den Garten wieder aufzubauen, was aber erst ab 1808 nach einem Besuch von Carl August erfolgreich war. In den Kriegsjahren zwischen 1813 und 1815 verschlechterte sich die Situation erneut. Im Jahr 1817 hielt sich Goethe lange in Jena auf und besuchte den Garten regelmäßig. Aus dem Jahr 1819 sind Daten über den Pflanzenbestand erhalten, es gab nur ca. 50 Topfpflanzen in einem einzigen Gewächshaus und ca. 200 Freilandpflanzen, die von 2 Tagelöhnern versorgt wurden. Bis 1836 hatte Voigt den Garten nach dem Jussieuschen System umgestaltet, erweitert und unter anderem das Alpinum in einem neuen Gartenbereich angelegt.