Etter verdenskrigen fortsatte Ulstrup sin tjeneste i Sjøforsvaret. I 1945 ble han sjef for Bodø marineavsnitt. Fra 1946 til 1952 var han minedirektør. I 1952 ble han utnevnt til kontreadmiral og sjef for Marinekommando Øst.