Afkomstig uit de staat Alabama studeerde Withers in 1835 af aan de Militaire Academie van West Point. Hij diende tijdens de Mexicaanse oorlog, maar werd daarna advocaat. Van 1855 tot 1857 was hij voor zijn thuisstaat lid van het Huis van Afgevaardigden. Tijdens de Burgeroorlog bracht Withers het van kolonel tot generaal-majoor. Hij vocht onder meer in de Slag bij Shiloh (april 1862) en in de Slag bij Stones River (31 december 1862-2 januari 1863). Vanwege zijn zwakke gezondheid werd hij daarna overgeplaatst naar een reserve-eenheid. Na de oorlog werd hij opnieuw advocaat en ook burgemeester van Mobile. Whithers overleed in 1890.