Etter to turbulente år som guvernør mislyktes Clinton i å bli gjenvalgt i 1980. Han tapte for republikaneren Frank White. Clinton selv har sagt at grunnen til at han tapte valget i 1980 var at han hadde økt bilskattene i staten. Han har kalt det den ene av sine to største politiske tabber i sin karriere. (Den andre var å godta at justisdepartementet oppnevnte en uavhengig etterforsker i forbindelse med Whitewater-saken.)