Il devient un associé de Benjamin F. Butler (basé à Boston), remarqué dans le Sud qui voue une haine à l'encontre de général de l'Union pendant la guerre. Leur partenariat est un succès financier, et Pryor devient actif dans le parti démocrate dans le Nord. En 1877, il est choisi pour donner l'allocution d'inauguration du jour de la décoration, dans laquelle, selon une interprétation, il vilipende la reconstruction et promeut la cause perdue, tout en conciliant les nobles soldats en tant que victimes des politiciens. En 1890, il rejoint les fils de la révolution américaine, l'une des nouvelles sociétés mémorielles, qui est créée à la suite de la célébration du centenaire des États-Unis.