1861 entschied Polk sich für den Militärdienst und wurde als Generalmajor Befehlshaber im Wehrbezirk 2 unter Albert S. Johnston. Polk organisierte die konföderierte Mississippi-Armee und einen Teil der Tennessee-Armee, deren I. Korps er als Kommandierender General mit dem Dienstgrad Generalleutnant führte. Mit seiner Beförderung zum Generalleutnant war Polk zum zweitältesten Soldaten mit diesem Dienstgrad nach James Longstreet avanciert, was ihm einiges Gewicht bei der Vorbereitung von Entscheidungen einbrachte. Polk nahm an den Schlachten von Belmont, Shiloh, Chickamauga und Perryville teil und war auch am Stone's River Feldzug (siehe auch Schlacht am Stones River) beteiligt. 1864 kommandierte er konföderierte Truppen unter Joseph E. Johnston beim Angriff Shermans auf Atlanta (siehe Atlanta-Feldzug).