Foster ble født i Tiffin, men vokste opp i den vestre delen av Seneca County i småbyen Rome. Denne byen ble sammenslått med nabobyen Risdon i 1854 under navnet Fostoria til ære for Foster, som ble valgt til den nye byens første borgermester. I 1870 ble Foster valgt inn i representantenes hus, hvor han tjenestegjorde mellom 1871 til 1879. Han tapte omvalget i 1878, men ble valgt som guvernør i Ohio i 1880, en posisjon han hadde gjennom to terminer til 1884.