Lee, hija del edecán de LaFayette, Alexander Moore, y nieta de Alexander Spotswood, gobernador de Virginia desde 1710 a 1722.