Im Jahr 1800 wurde Gaston in den Senat von North Carolina gewählt. Zwischen 1807 und 1809 saß er als Abgeordneter im Repräsentantenhaus dieses Staates, dessen Speaker er im Jahr 1808 war. In den Jahren 1812, 1818 und 1819 gehörte er erneut dem Senat an. Bei den Kongresswahlen des Jahres 1812 wurde Gaston im vierten Wahlbezirk von North Carolina in das US-Repräsentantenhaus in Washington gewählt, wo er am 4. März 1813 die Nachfolge von William Blackledge antrat. Nach einer Wiederwahl konnte er bis zum 3. März 1817 zwei Legislaturperioden im Kongress absolvieren. Diese waren anfangs von den Ereignissen des Britisch-Amerikanischen Krieges geprägt.