Hans far, en pensjonert major i hæren i Baden, var en sivilingeniør og medlem av kommisjonen som regulerte Rhinens kurs. Hans mor, født Josephine Krederer, var datteren av en velstående handelsmann i Oberndorf am Neckar, var en kvinne med store intellektuelle krefter og en romantiske disposisjon. Unge Scheffel ble utdannet ved latinskolen i Karlsruhe og senere i årene 1843–1847 ved universitetene i München, Heidelberg og Berlin.