בשנתו האחרונה בתפקיד, התרחשו כמה משברים, כולל ההשתלטות על השגרירות האמריקנית באיראן ולקיחת בני ערובה בשבי, ניסיון חילוץ כושל של בני הערובה, מחסור חמור בדלק, ופלישה סובייטית לאפגניסטן. ב-1980 נאלץ להתמודד מול טד קנדי בתוך המפלגה הדמוקרטית, והפסיד בהפסד גדול לרייגן. קרטר נחשב לנשיא פחות טוב מהממוצע.