I 1883 fikk han tildelt vervet som USAs postminister, eller generalpostmester (), som var øverste sjef for det amerikanske postverket United States Postal Service, i Chester A. Arthurs kabinett. I hans periode som postminister ble Gresham i Oregon oppkalt etter han. I september 1884 ble han utnevnt til etterfølger av Charles J. Folger som landets finansminister, men avgikk allerede i oktober samme år på grunn av at president Arthur i stedet gav han stillingen som dommer i den føderal appelldomstolen United States Court of Appeals.