Nach dem Tod des Abgeordneten John Claiborne wurde Gholson bei der fälligen Nachwahl für den 17. Sitz von Virginia als dessen Nachfolger in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 7. November 1808 sein neues Mandat antrat. Nach vier Wiederwahlen konnte er bis zu seinem Tod am 4. Juli 1816 im Kongress verbleiben. In diese Zeit fiel der Britisch-Amerikanische Krieg von 1812, an dem Gholson aktiv als Stabsoffizier teilnahm. Bei der Verteidigung der Bundeshauptstadt Washington wurde er verwundet. Er starb am 4. Juli 1816 an den Spätfolgen dieser Verwundung. Von 1811 bis 1813 leitete er das "Committee on Claims".