Ulstein ble utdannet sivilingeniør ved skipsbyggerlinja ved Norges tekniske høgskole (nåværende NTNU) i Trondheim. Han kom for fullt inn i Ulstein Group etter fullført utdanning i 1962, og var bedriftsleder frem til han gikk av som konsernsjef i 1997. Han ble deretter styreleder i konsernet, frem til 2011.