Han var ordfører i Fjell kommune 1958–1964, og statssekretær i Kommunaldepartementet under Einar Gerhardsens fjerde regjering 1964–1965. Ulveseth var innvalgt på Stortinget fra Hordaland 1965–1973. Han var industriminister i Trygve Brattelis andre regjering 1973–1976. I 1976 ble han fylkesmann i Sogn og Fjordane, en stilling han hadde frem til 1994.