身为维吉尼亚上流社会成员，李终身与奴隶制度接触密切，但他名下未曾拥有多过六名奴隶。实际上，在于维吉尼亚zh-hans:罗克布里奇县;zh-hant:石桥郡的记载中重新发现其1846年的遗嘱前，未能确知其名下是否拥有任何奴隶。其遗嘱内容为在他去世时解放一名叫做南希的女奴及其子女。然而，当李的岳父乔治·华盛顿·帕克·卡斯蒂斯于1857年十月去世时，李经由于执行其遗嘱，自妻方获得了可观的房产，并有权暂时支配六十三名奴隶，包含男女及小孩。依卡斯蒂斯遗嘱所言，自其去世起的五年内，在「遗嘱执行人自视最为适当