司令罗伯特·E·李的妻子。玛丽出生于弗吉尼亚州阿灵顿宫，并在此与李结婚生活，阿灵顿宫因此后来也被命名为罗伯特·E·李纪念馆。玛丽的父亲是美国总统乔治·华盛顿妻子马莎·华盛顿与第一任丈夫丹尼尔·帕克·卡斯蒂斯的孙子乔治·华盛顿·帕克·卡斯蒂斯，母亲是大陆会议代表威廉·菲茨休的女儿玛丽·李·菲茨休·卡斯蒂斯。玛丽与李共育有三子四女：乔治·华盛顿·卡斯蒂斯·李、玛丽·卡斯蒂斯·李、威廉·亨利·菲茨休·李、安妮·卡特·李、埃莉诺·阿格尼斯·李、小罗伯特·E·李、米尔德丽德·蔡尔福·李。