Politisch schloss er sich der Bewegung um Thomas Jefferson an und wurde Mitglied der von diesem gegründeten Demokratisch-Republikanischen Partei. Bei den staatsweit ausgetragenen Kongresswahlen des Jahres 1802 wurde Rhea für den damals neu geschaffenen dritten Sitz von Tennessee in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1803 sein neues Mandat antrat. Nach fünf Wiederwahlen konnte er bis zum 3. März 1815 sechs Legislaturperioden im Kongress absolvieren. In diese Zeit fielen unter anderem der Louisiana Purchase, durch den das US-Staatsgebiet beträchtlich vergrößert wurde, und der Britisch-Amerikanische Krieg von 1812. Im Jahr 1804 wurde der 12. Verfassungszusatz verabschiedet. Von 1807 bis 1815 war John Rhea Vorsitzender des Postausschusses. Außerdem gehörte er dem Ausschuss an, der sich mit Abfindungen und Entschädigungen aus der Revolutionszeit befasste.