Zu Beginn des Sezessionskrieges trat er in das konföderierte Heer ein und wurde Adjutant im Stab von General Pierre Gustave Toutant Beauregard. Ferguson nahm an der Schlacht von Shiloh im April 1862 und der ersten Schlacht um Corinth von April bis Mai 1862 teil. In der Folgezeit war er in Vicksburg und Ditchley eingesetzt und erlitt mehrere Verwundungen, ehe er im Februar 1863 wieder seinen Dienst in Mississippi antreten konnte. Ferguson diente während des Bürgerkrieges im 5. South Carolina Kavallerieregiment sowie als Oberstleutnant und stellvertretender Kommandeur im 28. Mississippi Kavallerieregiment. Im Juli 1863 wurde er zum Brigadegeneral befördert und griff mit seinen Einheiten am 24. Februar 1864 Truppenteile von General William T. Sherman östlich von Pearl River an.