Den 3. marts 1861 tog Anderson sin afsked fra den amerikanske hær og tiltrådte som oberst i 1st South Carolina Infantry regiment. Han fik kommandoen over området omkring Charleston havn efter erobringen af Fort Sumter. Han blev forfremmet til brigadegeneral den 19. juli og overført til Pensacola i Florida, hvor han blev såret i armen under Slaget ved Santa Rosa Island. I februar 1862 kom han (Sydstaternes) Army of the Potomac, som blev indkorporeret i Army of Northern Virginia senere samme forår, og her blev han brigadechef. I Peninsula kampagnen udmærkede han sig i Slaget ved Williamsburg, Slaget ved Seven Pines, og i Syvdagesslaget. I Slaget ved Glendale overtog han midlertidigt kommandoen over James Longstreets division. På grund af hans udmærkede indsats på Viriginia-halvøen blev han forfremmet til generalmajor den 14. juli 1862 og fik kommandoen over 2. division i Longstreets Første Korps i Army of Northern Virginia.