州際通商委員会
陸軍長官を退任後の1895年、エルキンズはバージニア州代表として連邦上院議員に選出された。エルキンズは1901年と1907年にも再選し、最終的に、1895年3月4日から死去する1911年1月4日まで3期16年務めた。エルキンズは第56議会と第59議会で地質調査委員会委員長、第57議会から第61議会まで州際通商委員会委員長を務めた。