I statsråd 18. desember 1942 ble Ulstrup tildelt Krigskorset med sverd «for fremragende og utrettelig krigstjeneste i Norge i Bergens- og Hardangerfjordavsnittet i tiden 9. april - 17. mai 1940 samt fortsatt innsats i frigjørelseskampen utenfor Norge.» Han ble også tildelt Deltagermedaljen med rosett.