Ullemose hadde en forholdsvis kort politisk karriere før hun kom på Folketinget. Bare to år før hadde hun meldt seg inn i Dansk Folkeparti. Hun var deretter blitt valgt ved Kommunalvalget 2013 i Svendborg Kommune og mottok nestflest stemmer blandt Dansk Folkepartis kandidater i valgkretsen. Det fikk henne inn i byrådet hvor hun ble formann for Børn- og Unge-udvalget og nestformann i Udvalget for børn og unge.