Carterin presidenttikautta sävyttivät taloudellinen laskusuhdanne ja loppupuolella Iranin panttivankikriisi. Vuoden 1980 vaaleissa hän hävisi selvin numeroin republikaanien Ronald Reaganille. Presidenttikauden jälkeen Carter on mennyt mukaan erilaisiin ihmisoikeuksia ja hyväntekeväisyyttä edistäviin hankkeisiin, usein nimeään kantavan Carter Centerin kautta. Jimmy Carter sai Nobelin rauhanpalkinnon vuonna 2002.