Familien var ikke rik, men godt respektert i samfunnet. Moren var født Charters, og var William Fairfax' andre kone. Begge var bevisste sine slektsbånd og den klassetilhørigheten dette medførte. Mary selv var én av syv søsken fra dette ekteskapet. Fra farens første ekteskap hadde hun også én halvsøster og muligens også ett eller to søsken som døde som spedbarn. De nærmeste i alder var broren Samuel, som var fire år eldre, og broren William George, fire år yngre. Lite er kjent om Marys søskens liv og virke.