Han var sønn av skolebestyrer Sverre Ulstein (1898–1960) og Aga Flood (1898–1971). Etter examen artium 1939 begynte han på Hærens flygeskole. Under kampene i Norge ble han skadet etter en landing i en Tiger Moth ved Nordre Osen. Han kom seg likevel over til Canada og Little Norway, der han fullførte flygeskolen. I januar 1942 var han med på opprettelsen av 332 skvadron, dit han kom etter et opphold ved den britiske 129 Squadron. Ved krigens slutt i mai 1945 var Ulstein kaptein.