Han tjenestegjorde som landets finansminister under presidenten Chester A. Arthurs kabinett i perioden 1881 til 1884. I tiden som finansminister hadde USAs regjering det største budsjettoverskuddet i USAs historie. I 1882 var han forøvrig kandidat til guvernørposten i New York, men tapte til fordel for den fremtidige presidenten Grover Cleveland. Folger døde i embetet den 4. september 1884 i Geneva.