Herseths guvernørperiode ble også preget av store naturkatastrofer, og delstatens mangelfulle beredskap vakte misnøye. I 1960 tapte han guvernørvalget mot republikaneren Archie M. Gubbrud. Herseth tapte også valget i 1962 mot Gubbrud. Han døde av et hjerteinfarkt i 1969.