Etter to år i denne posisjonen ble han i mars 1881 utnevnt til landets finansminister av daværende president James Garfield, før han i september fortsatte i samme stilling under kabinettet til etterfølgeren Chester A. Arthur på grunn av mordet på Garfield.