Mansfields far var en fremgangsrik forretningsmann. Hun hadde tre søstre og en bror. År 1903 kom hun til London for å avslutte sin skolegang. Hun utdannet seg til cellist. Skolegangen i London var ved , som var opprettet av Charles Kingsley for det spesifikke formål å gi utdannelse til kvinner. Her ble hun også kjent med Ida Baker (1888–1978), som hun levde sammen med i sin siste livsfase.