Po wojnie osiadł w Nowym Orleanie i wrócił do polityki. Był coraz bardziej nieufny wobec radykalnych republikanów, w końcu przeklął Rekonstrukcję jako „obmierzłe zło”. Po śmierci żony w 1875 roku przeniósł się do Winchester, a później do Nowego Jorku, gdzie zmarł.