Carterin virkakauden loppua varjosti Yhdysvaltain Iranissa sijaitsevan Teheranin-suurlähetystön panttivankikriisi ja epäonnistunut vapautusyritys. Kriisi romahdutti Carterin kansansuosion ja vaikutti hänen vaalitappioonsa seuraavissa presidentinvaaleissa. Iran ja Yhdysvallat pääsivät sopimukseen panttivankien vapauttamisesta 19. tammikuuta 1981, jolloin Carterin virkakautta oli jäljellä enää vajaa vuorokausi. Vapautetut yhdysvaltalaiset lähtivät Teheranista seuraavana päivänä pian sen jälkeen, kun uusi presidentti Ronald Reagan oli aloittanut virassaan. Carter tapasi vapautetut Wiesbadenissa Länsi-Saksassa ja sanoi Iranin syyllistyneen ”uskomattomaan raakuuteen” panttivankeja kohtaan, mikä kuohutti yhdysvaltalaisten mieliä.