Lee is gebore in Virginië en het studeer aan West Point Militêre Akademie. Hy verwerf sy graad in 1829. Hy kry 'n pos as 'n ingenieur-offisier in die Amerikaanse weermag waar hy vir die volgende vyftien jaar werk. Hy was betrokke by die verbetering van die hawe van St. Louis en die kanaal van die Mississippirivier. Na 'n kort tydjie in Washington, D.C. word hy na die Meksikaanse grens gestuur tydens die Meksikaans-Amerikaanse Oorlog waar hy diens doen as 'n ingenieur onder bevel van generaal Winfield Scott. Hier onderskei hy homself en word gewond op 13 September 1847 tydens die aanslag op Chapultepec.
Na die Meksikaans-Amerikaanse Oorlog is hy werksaam in die Ingenieurs-afdeling in Washington waar hy deel was van die Komitee vir die Atlantiese Kus-verdediging. Van 1852 tot 1855 werk hy in die Verenigde State Militêre Akademie as superintendent. Daarna doen hy diens as 'n Luitenant-Kolonel in een van die nuutgestigte kavallerie-regimente in Texas tot en met 1860. Gedurende 1857 tot 1859 het hy ook baie tyd by sy vrou se woning in Arlington, Virginië deurgebring. Tydens een van sy verblywe hier word hy gevra om die mag te lei teen die John Brown-oorname van die fort te Harper's Ferry. Hy onset die fort.
Ná die slag neem hy sy mag na Maryland as gevolg van die groot verdedigingsmagte in die omgewing van Washington. Hy doen dit ook om sy mag van voorrade te voorsien en deels ook om meer rekrute te werf. Hy word egter gevolg deur 'n Federale mag onder leiding van generaal George B. McClellan. Die twee magte ontmoet op 17 September 1862 in die slag van Sharpsburg (ook bekend as Antietam). Die slag eindig gelykop; Lee val egter die volgende oggend terug na Virginië. Hier neem hy stelling in op die suidelike oewer van die Rappahannockrivier. Sy stelling word aangeval op 13 Desember 1862 deur die Federasie se Noordelike Weermag, onder bevel van generaal A.E. Burnside. Burnside het die rivier uit die rigting van Fredericksburg oorgesteek maar hy word gevoelige verliese toegedien nadat sy Lee sy aanval afgeslaan het. Vir die res van die winter is Lee in geen gevegte betrokke nie.