Bei den Kongresswahlen des Jahres 1802 wurde Taggart im sechsten Wahlbezirk von Massachusetts in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1803 die Nachfolge von Josiah Smith antrat. Nach sechs Wiederwahlen konnte er bis zum 3. März 1817 sieben Legislaturperioden im Kongress absolvieren. Während seiner Zeit als Kongressabgeordneter wurde im Jahr 1803 durch den von Präsident Thomas Jefferson getätigten Louisiana Purchase das Staatsgebiet der Vereinigten Staaten beträchtlich erweitert. Im Jahr 1804 wurde der zwölfte Verfassungszusatz ratifiziert. Taggart erlebte auch den Britisch-Amerikanischen Krieg von 1812 als Kongressabgeordneter. Im Verlauf dieses Krieges wurde auch der Kongress von den Briten niedergebrannt und musste für einige Jahre in ein Ausweichquartier umziehen.