Han var sønn av Viggo Ullmann (1848–1910) og Vilhelmine Marie Eriksen (1853–1918). Faren var skolemann, politiker og amtmann. I 1927 giftet Ragnar seg med Amy Gjør (1903–1952).