Efterhånden som Syden løb tør for reserver, blev spørgsmålet om bevæbning af slaver af allerstørste betydning. I slutningen af 1864 havde hæren en så dominerende position i Konføderationen, at de civile ledere var ude af stand til at blokere militærets forslag, der havde Lees støtte, om at bevæbne og træne slaver til kamp for Konføderationen. Til gengæld for denne tjeneste skulle slavesoldater og deres familier gives fri. Lee forklarede: "Vi bør indsætte dem uden tøven … sammen med en gradvis og generel frigivelse". De første enheder var under uddannelse, da krigen sluttede. Da Sydstaternes hær blev decimeret af kamphandlinger, sygdom og deserteringer, lykkedes det Unionshæren at erobre Petersburg den 2. april 1865. Lee opgav Richmond og trak sig tilbage mod vest. Hans styrker blev omringet, og han overgav dem til Grant den 9. april 1865 ved Appomattox Courthouse, Virginia. Andre sydstatshære fulgte efter, og krigen sluttede. Dagen efter sin overgivelse udsendte Lee sin afskedstale til sin hær.