Joseph Wheeler war ein Absolvent der Militärakademie in West Point, welche er 1859 als 19. in einer Klasse von 22 abschloss. Im Jahr 1861, zu Beginn des Sezessionskrieges, schloss er sich der Konföderiertenarmee an. Nachdem er zuerst ein Infanterieregiment (das 19. Alabama) befehligte wechselte Wheeler 1862 zur Kavallerie. Er war entscheidend am Sieg von Stones River beteiligt. Im Verlauf von 3 Monaten wurde er gleich zweimal befördert; vom Oberst bis zum Generalmajor. Ab 1863 befehligte er ein Kavallerie-Korps in der Army of Tennessee. Wheeler nahm an 167 Schlachten teil, wurde dreimal verwundet und insgesamt wurden 16 seiner Pferde in Schlachten getötet. Im Mai des Jahres 1865 geriet er in Gefangenschaft. Bei der Bevölkerung der Südstaaten wurde er "Fighting Joe" genannt; den gleichen Spitznamen hatte der General der Unionsarmee Joseph Hooker bei den Nordstaaten.