Etter at den aktive karrieren tok slutt, var Ulfstein i mange år tilknyttet trenerapparatet i Hødd, både som trener for aldersbestemte lag, og som hjelpetrener for A-laget. Han var far til Egil Ulfstein, som var midtstopper i Hødd, Viking FK og Sportsklubben Brann, og spilte to kamper på landslaget i 1995.