Lee's wife was Margaret Thomas Lee, a free African American from Philadelphia who had worked as a servant in Washington's headquarters during the war.
אשתו של לי הייתה מרגרט תומאס לי, אמריקאית חופשיה מפילדלפיה, שעבדה בעבר כמשרתת במפקדתו של וושינגטון בזמן המלחמה.