Kiedy głównodowodzącym armii Północnej Wirginii został Robert E. Lee, młodszemu z panów Lee przydzielone zostało zadanie nadzorowania inżynierów (pod Drewry’s Bluff w czasie kampanii półwyspowej). W czerwcu 1863 został awansowany na generała brygady, jednakże nie uzyskał dowództwa w polu, z rozkazu prezydenta Davisa. Były od tego odstępstwa – podczas bitwy pod Gettysburgiem Lee zawiadywał obroną Richmondu. W 1864 został mianowany dowódcą lokalnej jednostki obronnej, podczas ofensywy generałów Granta oraz Butlera. Zadanie swe spełnił tak dobrze, iż powierzono mu obronę wschodniej części Richmond w Chaffin's Bluff. W 1864 został mianowany generałem dywizji. Dowodził oddziałami pod Sayler's Creek, gdzie został schwytany, na trzy dni przed kapitulacją w Appomattox Court House.