Bei den Kongresswahlen des Jahres 1808 wurde Sheffey im sechsten Wahlbezirk von Virginia in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1809 die Nachfolge von Abram Trigg antrat. Nach drei Wiederwahlen konnte er bis zum 3. März 1817 vier Legislaturperioden im Kongress absolvieren. In diese Zeit fiel der Britisch-Amerikanische Krieg von 1812, in dessen Verlauf die Regierungsgebäude in Washington von den Briten zerstört wurden.