Familien nedstammet fra hugenotter. Moren var Mary Isabelle Stephens og faren var advokaten Eugene Muse Mitchell. Margaret og hennes bror vokste opp i Atlanta, omgitt av historier fra borgerkrigen.