Den amerikanske borgerkrigen brøt ut i 1861, og Virginia sluttet seg til den nyopprettede Amerikas konfødererte stater. Da krigen stod for døren ønsket president Abraham Lincoln at Robert E. Lee, som hadde nylig vært rektor ved ved militærakademiet i West Point, skulle påta seg kommandoen over alle de militære enhetene til Nordstatene. Men Lee avslo, og gikk inn i krigen på hjemstaten Virginias side. Alle hans tre sønner sluttet seg til ham i tjeneste for Konføderasjonen.