Iowa Territory
リーは、テネシー州のノックスビルに近い小さな集落、に生まれた。陸軍士官学校に学び、1831年卒業生33名中5位の成績で卒業した。好成績を残したリーは、工兵司令部に配属され、当時のアイオワ準州のデモイン砦に派遣され、1836年5月に除隊するまでここに勤務した。1837年、まだ若かったにもかかわらず、テネシー州の主任技監 (the Chief Engineer for the state of Tennessee) に就任した。その後、連邦政府のために、アイオワ州とミズーリ州の州境確定作業に従事した。1839年から1840年にかけては、ボルチモア・アンド・オハイオ鉄道の技術助手であった。やがてアイオワ州の民兵准将を経て、連邦戦争省の主任事務官となった。