尼亚州州长亨利·李三世（绰号轻骑兵哈利）与安妮·希尔·李（Anne Hill Lee）的第四子。他在1825年入学美国军事学院（西点军校），并于1829年在四十六名同学中以第二名的成绩毕业，并和另外五人共享了「无违规记录」之荣誉。李少尉其后曾驻防于乔治亚州上的zh-hans:珀拉斯凯堡;zh-hant:普拉斯基堡七个月。1831年，他转调至维吉尼亚州的门罗堡担任助理工程师。驻扎该地期间，他与zh-hans:马莎·华盛顿;zh-hant:玛莎·华盛顿的曾孙女-{zh-hans:玛丽·安娜·