Als der Bürgerkrieg ausbrach, ging er als Colonel zur Konföderiertenarmee und wurde am 10. Februar 1862 zum Brigadegeneral befördert. Anderson führte seine Brigade am 6. und 7. April 1862 bei der Schlacht von Shiloh und übernahm ein Kommando der Armee von Tennessee im Kentucky-Feldzug sowie bei der Schlacht bei Perryville. Während der Gefechte am Chickamauga Creek und bei Chattanooga wurde er zum Divisionskommandeur ernannt und am 17. Februar 1864 offiziell zum Generalmajor.