アルバート・ジョンストン
リーはバージニア州アーリントンのアーリントンハウスで生まれた。ハーバード大学で学び、その後父の足跡を辿って1857年に少尉としてアメリカ陸軍に入隊した。アルバート・ジョンストンの下で第6アメリカ歩兵連隊に配属され、モルモン教徒に対するユタ戦争に参戦した。1859年、アメリカ陸軍から除隊し、バージニア州ニューケント郡パマンキー川南岸にあるホワイトハウス・プランテーションを経営した。