Ulstein ble for sin krigsinnsats tildelt St. Olavsmedaljen med to ekegrener, Deltagermedaljen, Haakon VIIs 70-årsmedalje og britiske Military Medal. For sitt arbeid etter krigen er han tildelt Kongens fortjenstmedalje i gull og Forsvarets hederskors. Ulstein er for deltakelsen i Tysklandsbrigaden tildelt Forsvarets medalje for internasjonale operasjoner og Tysklandsbrigadens veteranmedalje. Som mottaker av Military Medal var Ulstein trolig også kvalifisert for 1939-1945 Star, det er ikke kjent om han mottok denne.