Hun var datter av den nordlandske prest Frederik «Fritz» Prytz (1853–1937) som tjente i Leith da hun ble født og fikk fornavnene etter mora, Milda Dorothea Olsen (1846–1937). Broren Anton Frederik Winter Jakhelln Prytz (1878–1945) fikk fornavnene etter faren og ble en kjent politiker (Nasjonal Samling) og forretningsmann. Milda ble ikke gift og bodde med søsteren mens foreldrene bodde borti gaten.