Lee nahm deswegen weder am Gettysburg- noch am Mine-Run-Feldzug teil und wurde erst im Frühjahr 1864 ausgetauscht. Er wurde als jüngster Konföderierter zum Generalmajor befördert und übernahm eine Division in Stuarts zum Korps zusammengefasster Kavallerie. Mit dieser diente er 1864 während Grants Überland-Feldzug und der Belagerung von Petersburg, wobei er zum stellvertretenden Kommandeur des Kavalleriekorps aufstieg. Nach dem Fall von Petersburg und Richmond kapitulierte Lee gemeinsam mit seinem Vater bei Appomattox Court House, Virginia.