Herseth var av norsk opphav, med slekt fra Veldre i Ringsaker (Hedmark). Han var elev av Georges Mager og var solotrompetist i Chicago Symphony Orchestra fra 1948 til 2001; der han blant annet spilte sammen med Vincent Cichowicz. I løpet av sin lange karriere spilte han under kjente dirigenter og orkesterledere som Bruno Walter, George Szell, Eugene Ormandy, Leonard Bernstein, James Levine og Claudio Abbado.