Après la guerre, Rust part d'installer à El Dorado, en Arkansas derrière la rivière Arkansas à partir de Little Rock. Il retourne à Washington en tant que membre de la chambre des représentants des États-Unis et est même candidat républicain pour le sénat des États-Unis en 1869, avant le commencement de la reconstruction du congrès et alors que les ex-confédérés sont interdits aux fonctions électives et il retire lui-même sa candidature. Le , il meurt dans le comté de Pulaski, Arkansas, d'un abcès cérébral, tandis que sa femme et ses enfants visitent la famille en Virginie. Son lieu de sépulture fait l'objet de litige. Les récits contemporains précise qu'il est enterré dans le cimetière historique de Mount Holly de Little Rock, mais d'autres récits indiquent qu'il est enterré dans une tombe anonyme à côté du monument confédéré dans le cimetière d'Oakland. Un stèle cénotaphe est dans le cimetière d'Oakland et fraternel.