ベンジャミン・ハリソン
1890年、フォスターは再びアメリカ合衆国下院議員選挙に立候補したが、当選はならなかった。翌1891年、フォスターはウィリアム・ウィンダムの死によって空席となった財務長官に指名され、ベンジャミン・ハリソン大統領の下で財務長官に就任した。