Ullmann var lærer, senere lektor, ved Aker kommunale gymnas fra 1920 til 1937. Fra 1937 til 1946 var han lektor ved Ullern høyere almenskole, og fra 1946 ved Oslo katedralskole. Ullmann var formann i to komiteer som leverte innstilling til latinundervisningen i 1935 og 1946. Han var formann og styremedlem i Filologisk forening, Riksmålsforbundet, Klassisk Forening, Kristelig lektorkrets og Kirkelig Filmsentral. Fra 1947 var han medlem av bystyret i Oslo. Ullmann skrev artikler i , og . Han utga en skoleutgave av Julius Cæsars i 1929.