驻扎该地期间，他与zh-hans:马莎·华盛顿;zh-hant:玛莎·华盛顿的曾孙女zh-hans:玛丽·安娜·卡斯蒂斯·李;zh-hant:玛丽·安娜·蓝道夫·蒄提斯·李结褵于其父母位于华盛顿特区对面的住处，zh-hans:阿灵顿宫;zh-hant:阿灵顿之屋。他们共有三子四女：乔治·华盛顿·卡斯蒂斯·李、玛丽·卡斯蒂斯·李、威廉·亨利·菲茨休·李、安妮·卡特·李、埃莉诺·阿格尼斯·李、小罗伯特·E·李、米尔德丽德·蔡尔福·李。
工兵生涯.1834年至18