Han satt i Representantenes hus fra 3. januar 1975 til 3. januar 1989, der han var Vermonts eneste representant. Han stilte til valg til USAs senat i 1988, og vant. Han satt fram til 3. januar 2007. 24. mai 2001 meldte Jeffords seg ut av Det republikanske partiet, og fortsatte som uavhengig. Han lagde en avtale med demokratenes leder Tom Daschle, som gjorde at han fikk forbli komiteleder mot at han stemte med Demokratene ved viktige avstemninger. Utmeldingen førte til at Republikanerne mistet kontroll over Senatet.