Herseth stilte første gang som demokratenes guvernørkandidat i 1956, men tapte mot den sittende guvernøren Joe Foss. Foss trakk seg tilbake i 1958. Da Herseth vant guvernørvalget i Sør-Dakota det året, ble han den tredje demokraten som nådde opp til det høyeste embedet i den sterkt republikanske delstaten. Som guvernør gikk han sterkt inn for skattereform og utbygging av Big Bend-demningen i elven Missouri. Han fikk også på plass en felles pensjonsordning for lærerne i delstaten. Det var også i hans periode at Sør-Dakota ble den siste amerikanske delstaten som krevde en førerprøve for å få kjøretillatelse.