Han giftet seg lillejulaften i 1937 med Lorna Buntrock, som var datter av tyske innvandrere. Hun hadde vokst opp på en gård i nærheten av Herseths. Etter hans død ble hun også administrasjonsminister i Sør-Dakota (1974–1980). Deres sønn Lars Herseth var medlem av Sør-Dakotas lovgivende forsamling og delstatssenat i over 20 år. Sønnedatteren Stephanie Herseth Sandlin har vært Sør-Dakotas medlem av Representantenes hus.