Fra 1857 til 1859 var Scheffel bestyrer av biblioteket til Egon von Fürstenberg ved Donaueschingen, men oppga stillingen og besøkte Joseph Freiherr von Lassberg i Meersburg ved Bodensjøen, oppholdt seg for en tid hos grandhertug Karl Alexander av Sachsen-Weimar ved Wartburg i Thüringen, deretter bosatte han seg i Karlsruhe. Han giftet seg i 1864 med Caroline von Malzen, og i 1872 trakk han seg tilbake til i nærheten av Radolfzell ved nedre Bodensjøen. Ved hans jubileum i 1876 ble han feiret over hele Tyskland, han ble gitt arvelig adelskap av grandhertugen av Baden og han døde i Karlsruhe den 9. april 1886.