トーマスは共和党員としてアメリカ上院議員に選出され、1895年3月4日から1901年3月3日まで務めた。上院議員としては、対カナダ関係委員会（第54議会）、国勢調査委員会（第55議会、第56議会）の委員長を務めた。ウィリアム・マッキンリー大統領は、カーターをルイジアナ購入博覧会の実行委員長に任命した。共和党員として上院議員に再選され、1905年3月4日から1911年3月3日まで務めたが、その後の再選は目指さなかった。