于1852年成为西点军校校长。在西点的三年中，他改善了校园内的建筑与课程，并付出时间与官校生相处。其长子乔治·华盛顿·卡斯蒂斯·李于其任内入学西点军校，并在1854年以第一名的成绩毕业。1855年，奉调至第二骑兵队开赴德州前线，协助保护当地移民免受阿帕契与卡曼契族印地安人的攻击。那一阵子并不是李上校感到称心如意的日子。他不喜欢长期远离家人，尤其时当他的妻子病重。李上校只能尽可能的经常回家探视。1859年，当约翰·布朗于维吉尼亚州的zh-hans:哈珀斯费里;zh-hant:哈普斯渡口（今位于