Ulseth er utdannet siviløkonom fra NHH fra 1991. Fra 1992 til 1995 var han rådgiver for Høyres stortingsgruppe. Deretter hadde han ledende stillinger i Storebrand og If Skadeforsikring. Fra 2001 til 2004 var han statssekretær for statsråd Ansgar Gabrielsen i Nærings- og handelsdepartementet, deretter fra sommeren 2004 til høsten 2005 statssekretær for statsråd Thorhild Widvey i Olje- og energidepartementet. Han var europadirektør i Statkraft fra 2006 til 2010 og administrerende direktør i Energi Norge fra 2011 til 2018.