Sabo ble første gang valgt inn i Minnesotas lovgivende forsamling i 1960, 22 år gammel. Han var leder for det demokratiske mindretallet 1969–1972 og forsamlingens første demokratiske ordstyrer (speaker) 1973–1978. I 1978 ble han valgt inn i Representantenes hus i Kongressen fra et sterkt demokratisk valgdistrikt. Sabo ledet husets budsjettkomité i perioden 1993–1994, og fikk dermed en viktig rolle i å lose igjennom president Bill Clintons finanspolitikk og redusere det føderale budsjettunderskuddet. Senere satt Sabo som demokratenes fraksjonsleder i bevilgningskomiteen, hvor han bidrog til å finansiere blant annet transportprosjekter og miljøtiltak i Minneapolis og andre steder i Minnesota.