Han var vokste opp på en kvegfarm ved Houghton i Brown County i Sør-Dakota som sønn av norskamerikanerne Lars E. Herseth og Oline Afseth. Faren kom fra Vang i Hedmark, og utvandret til Amerika i 1887. Moren var født i nybyggersamfunnet Pelican Rapids i Minnesota av norske foreldre, som kom fra Afset i Ringsaker.