Ulstein var bondesønn og ble født i Ulstein på Sunnmøre i 1920 og tok artium i 1940. Ulstein forlot Norge ombord på MB «Ulstein» 16. juni 1941 og ankom Shetland 24. juni. Han deltok med Kompani Linge under landgangen i Reine i desember 1941. I september 1943 deltok han sammen med Harald Svindseth og Nils Fjeld i operasjon Vestige I, en sabotasjeaksjon mot et forsynings- og troppeskip i Nord-Gulen, utenfor Svelgen, der det lå til ankers for natten, beskyttet av en torpedojager. To limpetladninger ble festet på skipet som het «Hartmut». Ladningene skulle ha gått av ett døgn senere, men eksploderte etter tre kvarter. Synkeferdig klarte skipet å nå inn til en sandstrand, hvor det ble liggende. Det viste seg senere at det var en feil ved forsinkelsesordningen.