En 1861, Polk se alistó en los Yell Rifles como soldado raso bajo Patrick Cleburne, a quien sirvió durante la mayor parte de la guerra. En la batalla de Shiloh, el entonces subteniente menor Polk fue herido en la cara. Fue ascendido a coronel del 15º Regimiento de Infantería de Arkansas después de Shiloh. Cuando Cleburne fue ascendido a mando divisional, Polk fue nombrado general de brigada hasta la fecha desde el 13 de diciembre de 1862. Polk participó en la lucha en Stones River, Chickamauga, Chattanooga y en la Campaña de Atlanta. En junio de 1864, Polk fue gravemente herido (la cuarta vez durante la guerra) en la Batalla de la montaña Kennesaw y fue dado de baja honorablemente del Ejército.