Herweg ble født som sønn av krovert Ludwig Ernst og Rosina Katharina Märklin. Han gikk på gymnasiet i Stuttgart, latinskolen i Balingen og deretter klosterskole i Maulbronn. I 1835 ble han opptatt i Tübinger Stift og studerte teologi, men kom i konflikt med stiftets ledelse og ble utvist. I 1836 påbegynte han juridiske studier, men avsluttet disse i 1837. Deretter livnærte han seg som forfatter og kritiker for den jødiske forlegger August Lewalds tidsskrift og som oversetter av Alphonse de Lamartines verker.