Ullmann er født og oppvokst på Lillehammer og er utdannet verktøymaker. Han var klubbleder i Fellesforbundet sin klubb ved Norwesco AS i nesten 20 år. Etter en konflikt med ledelsen sluttet han der på begynnelsen av 2000-tallet. Han har hatt en rekke verv i fagbevegelsen, i organisasjonslivet på venstresiden og i Rødt.