I 1891 ble Foster utnevnt til finansminister av Benjamin Harrison etter at hans forgjenger William Windom hadde avgått ved døden. Han forble i denne stillingen frem til slutten av Harrison sin periode var over før han selv gikk av. Charles Foster døde den 9. januar 1904 i Springfield og ble gravlagt i Fostoria.