Politisk støttet Nielsen Venstre, partiet hennes bror Viggo Ullmann ledet i 1890-årene. I 1906 ble hun, som en av de seks første kvinnene noensinne, valgt inn i bystyret i Kristiania, på en liste for Kvindestemmeretsforeningen. I 1910 etterfulgte hun Bjørnstjerne Bjørnson som leder for Riksmålsforbundet.