儘管這些努力，卡特最後在全國健保計畫或稅賦制度改革上都失敗，而這些卻都是他競選時所承諾的。同時國內通貨膨脹也急遽攀升。在國外，超過一年的伊朗人质危机（1979年11月4日－1981年1月20日）使得52名美國人成為人質被拘禁了444天，卡特的外交和軍事手段救援也都失敗了。蘇聯在1979年入侵阿富汗也使美國大眾越感卡特的無能和脆弱，即使卡特以杯葛莫斯科奧運。在1980年美國總統選舉中，卡特得以通過民主黨的提名大會競選連任，但最後在11月被共和黨的罗纳德·里根壓倒性擊敗，雷根囊括了44個州的壓倒性勝利，卡特僅贏得6州。同時民主黨也失去了12個參議院議席，這也是自從1954年以來共和黨首次奪回參議院控制權。不過，眾議院仍以民主黨為絕對多數。