31 stycznia 1861 roku, gdy jego rodzinny stan Georgia ogłosił secesję, Hardee porzucił służbę w US Army i 7 marca wstąpił do CS Army. Otrzymał stopień pułkownika i objął dowodzenie fortami "Morgan" i "Gaines" w Alabamie. Awansował niezwykle szybko: 17 czerwca został generałem-brygadierem, a 7 października generałem-majorem. 10 października 1862 roku został pierwszym w konfederackiej armii generałem-porucznikiem. Jego pierwszym zadaniem było przekształcenie regimentów ochotniczych z Arkansasu w brygadę. Dokonał tego zyskując uznanie żołnierzy i oficerów rozwiązaniem problemów z zaopatrzeniem. Dzięki temu zyskał przydomek „Old Reliable” (Pewniaka). Hardee działał na obszarze Arkansasu do chwili powołania do Armii Missisipi jako dowódcy korpusu. Po bitwie pod Shiloh (6 kwietnia 1862 roku) korpus Hardee'ego wszedł w skład Armii Tennessee generała Braxtona Bragga.