Ulstrup ble student i 1883 og var ferdig utdannet cand.med. i 1890. Han praktiserte først som lege i Lillesand i 1890, men flyttet til Risør i 1891 og ble bylege der i 1910. Fra 1. januar 1914 var han stadslege i Risør. Han var en aktiv organisasjonsmann med mange verv. Han var blant annet en periode direktør i sparebanken i Risør, samt stifter og formann i en foreninger som Risør havfiskefond og Risør og omegns fiskeriførening.