Han dro tilbake til Virginia i 1869 og gjenopptok advokatpraksisen sin. Han ble benådet i 1868 av president Andrew Johnson, men forble tross dette en ikke-rekonstruert opprører. Han var blant de mest lydhøre av de som bittert fremmet Lost Cause-bevegelsen og som la skylden på handlingene til generalløytnant James Longstreet ved Gettysburg. Han var involvert i Louisiana Lottery sammen med den pensjonerte generalen P.G.T. Beauregard.