1807年にバージニア州ウェストモアランド郡のストラットフォードで、アメリカ独立戦争の英雄ヘンリー・リーとアン・ヒル・カーター・リーの子として生まれる。
罗伯特·爱德华·李出生于维吉尼亚州威斯特摩兰县的斯特拉特福庄园，为独立战争英雄、弗吉尼亚州州长亨利·李三世（绰号轻骑兵哈利）与安妮·希尔·李（AnneHillLee）的第四子。