Nach seinem Abschluss am Western Military Institute 1859 arbeitete Gordon als Vermessungsingenieur. Seine Laufbahn im konföderierten Heer begann er im 11. Tennessee-Infanterieregiment. Nach mehreren Beförderungen wurde Gordon im Dezember 1862 Regimentskommandeur. Während seines Dienstes nahm er an den Schlachten von Murfreesboro, Chickamauga und Chattanooga sowie am Atlanta-Feldzug und John Bell Hoods Invasion in Tennessee teil. Gordon wurde in der Schlacht von Franklin verwundet und geriet in Kriegsgefangenschaft der Nordstaaten. Am 15. August 1864 erfolgte seine Beförderung zum Brigadegeneral.