Da borgerkrigen brød ud sluttede han sig til den konfødererede arme til forsvar for sin hjemstat. Han blev oberst for 11. Georgia infanteri regiment, men ankom for sent til at deltage i det Første slag ved Bull Run. Han kom i kamp under Peninsula kampagnen i Yorktown og ledede en brigade under Syvdagesslaget, Andet Bull Run, Turner's Gap, Antietam og Fredericksburg. Anderson gik glip af Chancellorsville da han sammen med hovedparten af Longstreets Første Korps opererede i det sydlige Virginia.