ביומו השני בתפקיד, העניק קרטר חנינה לכל משתמטי מלחמת וייטנאם. במהלך כהונתו, הוקמו עוד שתי מחלקות בקבינט: מחלקת האנרגיה ומחלקת החינוך. בתחום האנרגיה, נקט קרטר במדיניות שכללה שימור סביבתי, בקרה על מחירי הדלק וניסיון להפיק דלק חדש. בתחום יחסי החוץ, יזם והשתתף בהסכמי קמפ דייוויד, הסכמים בנושאי תעלת פנמה, הסכם סאל"ט 2, והחזרת אזור תעלת פנמה לפנמה. בתחום הכלכלי, נאלץ להתמודד עם הסטגפלציה, שילוב בין שיעורי אינפלציה ואבטלה גבוהים לצד צמיחה נמוכה. בחציה השני של כהונתו נאלץ קרטר להתמודד עם משבר בני הערובה באיראן, אשר התרחש בין 1979 ל-1981, משבר הנפט ב-1979, תאונת אי שלושת המילין, והפלישה הסובייטית לאפגניסטן. בתגובה לפלישה, סיים קרטר את מדיניות הדטאנט, הסלים את המלחמה הקרה והוביל חרם על אולימפיאדת הקיץ ב-1980 שנערכה במוסקבה. ב-1980, התמודד קרטר בבחירות המקדימות מול טד קנדי ונבחר פעם נוספת להיות המועמד מטעם מפלגתו. קרטר הפסיד בבחירות הכלליות למועמד הרפובליקני רונלד רייגן, בהפרש קולות גדול.