Cartwright ble født i Aynho i Northamptonshire hvor hennes far, William Digby Cartwright, var prest. Etter bestemoren Jane Holbechs familietre er hun etterkommer av dikteren John Donne og presten William Mompesson. Hun hadde fire søsken, to eldre og to yngre: John (født 1896), Nigel (født 1898), Jane (født 1905) og William (født 1907).