Ulstrup gikk Sjøkrigsskolen i Horten og ble sjøoffiser i 1918. I årene 1922 til 1924 hadde han et studieopphold i Frankrike. Han tjenestegjorde som lærer ved marineskolen i Bergen fra 1934 til 1939.