Han ble i 1936 valgt til Representantenes hus fra Alabamas 8. distrikt, som omfattet Huntsville og omland. Den sittende representanten Archibald Hill Carmichael søkte ikke gjenvalg i demokratenes primærvalg, der Sparkman vant et knapt flertall etter en valgkamp med utgangspunkt i søndagsskolekretser. Han vant alle de kommende valgene uten seriøse motkandidater. I 1946 var han det demokratiske flertallets innpisker i Representantenes hus. Samme år ble han gjenvalgt, men vant samtidig et suppleringsvalg i Senatet.