עם התקרבות מערכת הבחירות, עמד קרטר לנוכח התנגדות קשה, גם מתוך מפלגתו. משבר האנרגיה והמצב הכלכלי פגעו בו, והוא ספג ביקורת כיוון שלא הנהיג ביטוח בריאות ממלכתי. מהאגף הליברלי במפלגה צמחה התמיכה במועמדותו של אדוארד (טד) קנדי, אחיו הצעיר של הנשיא המנוח ג'ון פ. קנדי, כדי להחליף את קרטר. הפופולריות הדועכת של קרטר הניעה את קנדי לרוץ בבחירות המקדימות נגדו, ולהכריז על מועמדותו בנובמבר 1979. קרטר הרבה לפקפק במעשיו של קנדי במהלך ריצתו לנשיאות, ובנוסף לכך העדיף לעסוק במשבר בני הערובה באיראן במקום במסע הבחירות. קנדי ניהל קמפיין חלש ולכן לא אתגר בצורה משמעותית את קרטר, אולם הוא הצליח לזכות בניצחונות במספר מדינות, בהן ניו יורק, והמשיך במירוץ גם כאשר המינוי היה מונח כבר בכיסו של קרטר, ובכך פגע במעמדו. הוא אף ניצח בכמה מדינות לקראת סוף מערכת הבחירות. מועמדותו של קנדי בשלב המוקדם ערערה את התמיכה של האגף הליברלי בקרטר, אף במהלך הבחירות הכלליות לנשיאות, שהתקיימו בנובמבר 1980.
בבחירות המקדימות שערכה המפלגה הרפובליקנית, זכה רונלד רייגן, איש האגף השמרני במפלגה, אשר מונה למועמד הרפובליקני לנשיאות. ג'ון אנדרסון, איש האגף המתון במפלגה הרפובליקנית, שהפסיד לרייגן, פרש מן המפלגה הרפובליקנית והתמודד כמועמד עצמאי לנוכח חוסר שביעות הרצון הציבורית משני המועמדים של המפלגות המסורתיות. הסקרים בספטמבר העידו על שוויון בין רייגן וקרטר. קרטר פגע בדמוקרטים מסורתיים, כולל באיגודי העובדים והקתולים, ואילו רייגן משך את האוונגליסטים שתמכו קודם לכן בקרטר ב-1976. קרטר היה בטוח שהמדינה תסרב לשמרנות של רייגן, וקיווה לנצח בעזרת סימנים מעודדים בתחום הכלכלי ובנושא בני הערובה האיראנים.
קרטר עמד בפני אתגרים מן האגף השמרני (רונלד רייגן, הרפובליקני), המרכז (ג'ון אנדרסון, העצמאי) ואף מצידה הליברלי-פרוגרסיבי של המפה הפוליטית (אדוארד קנדי, הדמוקרטי). קרטר נאלץ להתמודד עם הכלכלה המוכה בסטגפלציה ועם משבר בני הערובה. לאחר שהכריז על גיוס, פגע בליברלים. מנהל הקמפיין של קרטר, טימותי קראפט, פרש מתפקידו כחמישה שבועות לפני מועד עריכת הבחירות הכלליות, בשל האשמות לא מבוססות בדבר שימוש בקוקאין. ב-28 באוקטובר, השתתפו רייגן וקרטר בעימות הנשיאותי היחידי במערכת הבחירות ההיא. רייגן עדיין פיגר בסקרים מאחורי קרטר. קרטר סירב להשתתף בעימות אליו הוזמן אנדרסון. בעימות היחידי שהתקיים בין רייגן לקרטר, הדף רייגן את כל האשמות קרטר בביטוי "הנה אתה שוב מתחיל", וחתם את העימות בשאלה לעם האמריקאי: "האם מצבכם טוב יותר מאשר לפני ארבע שנים". הופעתו של רייגן בעימות וכישלונו של קרטר בשחרור בני הערובה הובילה לעלייה בתמיכה ברייגן.
חודשים אחדים לפני הבחירות הכלליות, הודלף לתקשורת סיפור אודות תקרית בין קרטר לארנב ביצות, במסגרתה צולם קרטר נאבק בארנב בעת שיט בסירת דיג. התקשורת התייחסה בהרחבה לתקרית ופרסמה קריקטורות המציגות את קרטר כחלש אופי וכפחדן. לנוכח אירועים אלו תדמיתו של קרטר התערערה לקראת הבחירות. רייגן קיבל 51% מהקולות ו-489 אלקטורים לעומת 41% מהקולות ו-49 אלקטורים לקרטר, ו-7% מהקולות לאנדרסון. קרטר זכה רק בשש מדינות שהגדולות בהן היו ג'ורג'יה מדינתו, ומינסוטה ממנה בא סגנו. במערכת בחירות זו השיגו הרפובליקנים רוב בסנאט, בפעם הראשונה מאז 1952. בנאום התבוסה שלו, הודה קרטר שנפגע מתוצאת הבחירות אולם הבטיח תקופת מעבר יציבה בין שני הממשלים.
לאחר הנשיאות.
בשנת 1982 הקים את מרכז קרטר שמרכזו באטלנטה. המרכז פועל רבות בעולם השלישי ביישוב סכסוכים, קידום זכויות אדם, פרויקטים לחיסון נגד מחלות, ופרויקטים להגברת התוצרת החקלאית. המרכז סייע בשיפור איכות החיים בשמונים מדינות שונות. כמו כן פעיל קרטר, במסגרת המרכז, בפיקוח על בחירות בארצות שונות, בהן גם הבחירות ברשות פלסטינית ב-1996, ב-2005 וב-2006. בשנת 1987, קיבל תואר דוקטור לשם כבוד מטעם אוניברסיטת חיפה.
דיפלומטיה וביקורת על מדיניות ארצות הברית.
ב-1994 ביקש הנשיא ביל קלינטון מקרטר לצאת למשלחת בקוריאה הצפונית. ב-2010 נסע שוב לקוריאה הצפונית והביא לשחררו של אגלון מאלי גומז. במהלך המתיחות בין שתי המדינות ב-2017, המליץ קרטר על חתימה על הסכם שלום בין המדינות, וטען שהציע לממשל טראמפ את שירותיו כדיפלומט. ב-1994 עמד בראש משלחת לפתרון המשבר בהאיטי, והשיג הסכם לפירוק המשטר הצבאי והחזרת הנשיא המודח ז'אן-ברטראן אריסטיד. ב-1999 העניק לו הנשיא קלינטון את מדליית החירות הנשיאותית. באוקטובר 1984, הוכרז כאזרח כבוד של פרו. בפברואר 1986, לאחר שנסע לניקרגואה, הצליח קרטר להביא לשחרורם של פעילי אופוזיציה.
קרטר עורר את חמתם של ממשלי בוש האב והבן הרפובליקנים בכמה מפעולותיו, כגון פגישה עם יאסר ערפאת בשנת 1990, ביקור בקובה ב-2002 ושוב ב-2011, ובהתנגדותו הנוקבת למלחמת עיראק; כמו כן, פגישתו באפריל 2008 עם חאלד משעל מראשי החמאס, ועם בכירים נוספים בארגון. בספטמבר 1981 נפגש קרטר בפעם האחרונה עם מנחם בגין, ובמרץ 1983 נפגש במצרים עם חברי אש"ף. בדצמבר 2008 פגש בבשאר אל-אסד. בדצמבר 2006 יצא לאור בארצות הברית ספרו: "", שבו הטיל על ישראל במידה רבה את האחריות לכישלון תהליך השלום בינה לבין שכנותיה הערביות והפלסטינים. את עיקר האש משך השימוש מלבה היצרים בביטוי אפרטהייד.
ביולי 2007, הצטרף אל נלסון מנדלה בדרום אפריקה והצטרף לקבוצת מנהיגים עולמיים בדיונים על שלום. לאחר מכן ביקר בדארפור, קפריסין, קוריאה והמזרח התיכון. הוא ניסה לבקר גם בזימבבואה, אולם נעצר לפני שהגיע לשם בידי ממשלת מוגבה. בין 1995 ו-1996, כינס ועידות בנושא האלימות באפריקה. בנוסף טרם להסכם בין סודאן ואוגנדה. קרטר זכה בפרס נובל לשלום לשנת 2002 על "עשורים של מאמץ בלתי נלאה למציאת פתרונות של שלום לסכסוכים בינלאומיים, לקידום הדמוקרטיה וזכויות האדם, ולעידוד פיתוח כלכלי וחברתי". במהלך מבצע מבצע צוק איתן, בשנת 2014, מתח ביקורת על ישראל וקרא לנשיא ברק אובמה להכיר בלגיטימיות ארגון החמאס, בנימוק שביכולתו לשמש שחקן פוליטי באזור.באפריל 2015 סירבו נשיא מדינת ישראל ראובן ריבלין וראש ממשלת ישראל בנימין נתניהו להיפגש עם קרטר, בנימוק כי עמדותיו אנטי-ישראליות.
בשנתו הראשונה התחיל קרטר כשהתחייב לא לבקר את ממשל רייגן, הביע את תמיכתו לאחר ניסיון ההתנקשות ברונלד רייגן, ותמך במדיניות רייגן שהגדילה את הצבא. עם זאת, הוא ביקר את מדיניות רייגן במזרח התיכון. לאחר מכן הרבה לבקר את ממשל רייגן לאורכה של כהונתו. ב-1985, ביקר קרטר את רייגן על תמיכתו ביוזמת ההגנה האסטרטגית, ועל טענתו שישנה קנוניית טרור עולמית. קרטר גם הרבה לבקר את ממשל ג'ורג' בוש הבן, וממשל בוש מצידו טען שקרטר מעיד על אי רלוונטיות בקרב הציבור. בסוף כהונתו השנייה של בוש, טען קרטר בפני מגזין סורי שכהונתו של בוש מאכזבת.
אף על פי ששיבח את ברק אובמה עם תחילת כהונתו, הוא הביע את אכזבתו מכך שאובמה השתמש במזל"טים כנגד חשודים בטרור, על שהשאיר את מתקן המעצר בגואנטנמו פתוח, וטען שחשיפותיו של אדוארד סנודן בנושא מעקבים ממשלתיים חשפו שאין בארצות הברית דמוקרטיה מתפקדת. קרטר התנגד לפסק דין סיטיזנס יונייטד נגד ועדת הבחירות הפדרלית, שביטל כל מגבלה על תרומות של תאגידים ואיגודי עובדים למסעות בחירות, וטען שהדבר הופך את ארצות הברית למדינת שוחד. במהלך כהונת טראמפ, תמך קרטר בביצוע רפורמת הגירה.
פוליטיקה נשיאותית.
בבחירות ב-1984 נחשב קרטר למועמד אפשרי, אולם לבסוף לא רץ ותמך בסגנו לשעבר מונדייל. לאחר שמונדייל נבחר להיות המועמד, ביקר קרטר את מסע הבחירות של רייגן, נאם בוועידה הדמוקרטית הלאומית וייעץ למונדייל. בבחירות בשנת 1988, סירב קרטר להתמודד. לאחר ניצחון בוש בבחירות טען קרטר שיהיה לו קשה יותר מרייגן כנשיא מפני שאין לו את אותה כמות אהדה. בבחירות 1992 תמך במועמדותו של מושל ארקנסו, ביל קלינטון וביקר את רוס פרו. קרטר תמך באל גור לפני הבחירות בשנת 2000, וטען שגור היה אמור לנצח בבחירות. בבחירות של 2004, תמך קרטר בג'ון קרי ונאם בוועידה הדמוקרטית הלאומית. בנוסף הביע חשש מהטיית בחירות בפלורידה בהתחשב בבחירות 2000.
במהלך הבחירות המקדימות במפלגה הדמוקרטית ב-2008, היו שמועות שקרטר תומך בסנאטור ברק אובמה ולא בהילרי קלינטון. במערכת הבחירות ביקר קרטר את ג'ון מקיין, שהגיב לו בחזרה, ודרש מאובמה לא לבחור בקלינטון כסגניתו. קרטר תמך במיט רומני הרפובליקני במהלך הבחירות המקדימות לקראת הבחירות ב-2012, והבהיר שתמך בו כיוון שהוא יהיה היריב הקל יותר עבור אובמה. קרטר ביקר את דונלד טראמפ לאחר שזה נכנס לבחירות המקדימות במפלגה הרפובליקנית וטען שיפסיד, בטענה שהאווירה הפוליטית שונה מאשר בתקופתו. בבחירות המקדימות במפלגה הדמוקרטית תמך בסנאטור ברני סנדרס, ובהילרי קלינטון בבחירות הכלליות.
פעילויות אחרות.
קרטר ביקר את ממשל בוש בנושא הטיפול בהוריקן קתרינה ושיתף פעולה עם נשיאים לשעבר כדי לסייע לנפגעי הוריקן הארווי והוריקן אירמה בחוף המפרץ ובטקסס, בנוסף לכתיבת מאמרים על האזרחים האמריקנים שסייעו לנפגעי האסונות.
השקפות אישיות.