Guldseth var medlem av Steinkjer kommunestyre 1980–1987 og formann i sosialutvalget, medlem av Nord-Trøndelag fylkesting 1984–1995, formann i Høyres fylkestingsgruppe 1988–1995 og medlem av nærings- og sysselsettingsstyret. Han var 1. viseformann i Nord-Trøndelag Høyre 1980–1981 og formann 1981–1985. Guldseth var også styreleder ved Innherred sykehus. Ved folkeavstemningen om norsk EU-medlemskap i 1994 engasjerte han seg som ja-mann.