Ulstrup forlot Norge ombord på MB «Måken» den 19. september 1940 til Storbritannia. Han fikk kommando på jageren «Mansfield» og deltok i april 1941 med denne i raidet på Øksfjord der sildoljefabrikken ble sprengt. Ulstrup tjenestegjorde deretter i Forsvarsdepartementet i London fra 1941 til 1942 og var ved den norske marineavdelingen på Island fra 1942 til 1945.