Han vokste opp på småbruket Gullsetbjørga i Selbu som sønn av Esten Olsen Guldseth og Irene Pettersdatter Eggen. Han tok artium ved Orkdal landsgymnas i 1955, ble uteksaminert fra ingeniørstudiet ved NTH i 1960, og avtjente verneplikten ved Ørland flystasjon. Guldseth var også assistent for Are Hagemann, professor i elektriske anlegg ved NTH, før han i 1961 ble ansatt ved driftsavdelingen i NTE i Steinkjer. Han ble etter hvert sjefingeniør, distribusjonssjef og teknisk direktør.