I perioden 1790 til 1792 fikk han lovgivende oppgaver som delstatsrepresentant for Pennsylvania før han gikk videre til Washington, D.C., hvor han tjenestegjorde som senator fra 1793 til 1794. Etter å ha tjenestegjort i representantenes hus fra 1795 til 1801 fikk Gallatin et beryktet rykte gjennom sitt arbeid som medlem gjennom finanskomiteen.