アルバート・ジョンストン
リーはバージニア州フェアファックス郡の「クレモント」で生まれた。"ライトホース・ハリー"・リーの孫であり、ロバート・E・リーの甥だった。父はシドニー・スミス・リーであり、日本に航海したペリー提督の下で艦長を務めており、後に海軍准将になった。母アンナ・マリアはバージニア権利章典の起草者ジョージ・メイソンの孫娘であり、アメリカ合衆国上院議員ジェイムズ・マレイ・メイソンの姉妹だった。リーは1856年に陸軍士官学校を卒業し、アルバート・ジョンストン大佐が指揮する第2アメリカ騎兵連隊の少尉に任官された。叔父のロバート・E・リーはその連隊の中佐だった。リーは騎兵士官としてテキサス州でコマンチ族に対する戦闘における勇敢な行動で頭角を現し、1859年、テキサスのネスカトゥンガにおける戦闘で重傷を負った。1860年5月、ウェストポイント（陸軍士官学校）の騎兵教官に指名されたが、バージニア州がアメリカ合衆国から脱退したので、その職を辞した。