המתח הגזעני בפליינס עלה ב-1954, בעקבות החלטת בית המשפט העליון של ארצות הברית בפסק דין בראון נגד מועצת החינוך. קרטר תמך בעירוב גזעי ובסובלנות - פעם אף הוחרם לאחר שסירב להצטרף לאיגוד גזעני - אולם באותה העת סירב להצהיר על עמדתו. ב-1961 הוא היה חבר בולט בקהילה ובכנסייה הבפטיסטית, וחבר בוועד בית הספר המקומי, והחל לנאום בזכות עירוב גזעי. ב-1962, התפנה מושב בסנאט של מדינת ג'ורג'יה בגלל ארגון מחדש של המחוזות. קרטר הכריז על התמודדותו חמישה עשר ימים לפני הבחירות. רוזלין, שהצטיינה בארגון פוליטי, סייעה לו. תחילה הפסיד, אך לאחר שהתגלו אי סדרים בהצבעה נערכה ספירה מחודשת – ונבחר לסנאט שם כיהן במשך שתי קדנציות בשנים 1963–1967.
התנועה לזכויות האזרח החלה במאבקה במהלך כהונתו של קרטר. משפחתו תמכה בנשיא ג'ון פיצג'רלד קנדי. ב-1962, העיר אמריקוס הייתה מלאה בעוינות כלפי השחורים, והאווירה נגד המפגינים השחורים הייתה עוינת. קרטר נמנע מלהגיב בנושא כדי לא לפגוע בשותפיו שתמכו בהפרדה גזעית. הוא התנגד להתניית זכות הצבעה בידיעת קרוא וכתוב, והתנגד לשינוי בחוקת ג'ורג'יה שסבר שנועד לכפייה דתית. עם רצח קנדי, הודיע קרטר שמדובר במכה הקשה ביותר שספג מאז מות אביו.
קרטר היה מחוקק פורה מאוד ולמד קריאה מהירה כדי לעמוד בעומס. בתוך שנתיים היה לחבר בוועדה הדמוקרטית המקומית, ושינה את חוקי המפלגה במדינה. הוא מונה ליושב ראש הוועדה לפיתוח מערב-מרכז ג'ורג'יה. עם היבחרו של בו קאלווי לבית הנבחרים בנובמבר 1964, ניסה קרטר להדיח אותו. קרטר וקאלווי הרפובליקני התעמתו בנושאי חינוך רבים. קרטר נבחר שוב באותה השנה. הוא עמד בראש ועדת החינוך, וגם ניהל את ועדת התקציב לקראת סוף כהונתו. הוא היה אחראי לחוק שהרחיב את המימון לחינוך. הוא הגביר את קצב עבודתו ונאם רבות כדי להגביר את נוכחותו. ביום האחרון לכהונתו, הכריז שינסה להתמודד לקונגרס.
באמצע מאי, הופתע קרטר כשבו קאלווי החליט לא להתמודד על מושבו בקונגרס אלא לרוץ לתפקיד מושל ג'ורג'יה. הדמוקרטים לא רצו לאבד את תפקיד המושל, בו החזיקו מאז תקופת השיקום. קרטר החליט להתמודד. באותה שנה, בעת הכנתו לשאת נאום, דיווח קרטר לעיתונות כי ראה עצם בלתי מזוהה, ובשנת 1973 דיווח על התקרית באופן רשמי לרשויות, אך סבר לבסוף כי לא ראה חוצנים. בבחירות המקדימות במפלגה הדמוקרטית, ניסה קרטר להציג את עצמו כאלטרנטיבה מתונה מול השמרנים והליברלים. הוא אמנם הפסיד, אבל הצליח להשיג מספיק קולות כדי לאלץ סיבוב שני. מי שנבחר היה לבסוף לסטר מאדוקס שתמך בהפרדה גזעית. קרטר חזר לעסקי החקלאות ותכנן כיצד יתמודד בשנית ב-1970. קרטר התקרב לנצרות באותה התקופה, ובהשפעת ריינהולד ניבור הכריז על לידתו מחדש. בתו הצעירה איימי נולדה ב-19 באוקטובר 1967.
המושל הליברלי לשעבר, קארל סנדרס, היה יריבו של קרטר בבחירות המקדימות ב-1970. קרטר ניסה להיות מתון יותר הפעם, והשתמש בעיקר במידע ובניתוח סטטיסטי. בשל הסקרים, הוא נאלץ לפנות לקול השמרני. הוא מיצב את עצמו כפופוליסט, ותקף את סנדרס על עושרו. הוא טען שסנדרס היה מושחת, הצהרה שלא הצליח לגבות. במהלך המירוץ הביע עמדות התומכות בג'ורג' וולאס – המושל השנוי במחלוקת של אלבמה, והבטיח לקדם תומכים בהפרדה גזעית (על אף שניסה להשיג גם את קולות השחורים). בספטמבר, הוביל קרטר על סנדרס בסיבוב הראשון עם 49% מהקולות מול 38%, מה שהוביל לסיבוב שני. למרות תמיכתו בזכויות האזרח, ביקר מטה קרטר את סנדרס על תמיכתו במרטין לותר קינג. קרטר השיג 60% מהקולות - ו-7% מקולות השחורים - ונבחר בבחירות הכלליות. סנאטורים מקומיים שחורים טענו שקרטר ניהל את מסע הבחירות בצורה כזאת כיוון שהבין שלא יוכל לנצח ללא גזענות.
מושל ג'ורג'יה (1971-1975).
קרטר הושבע לתפקיד מושל ג'ורג'יה ה-76 במספר ב-12 בינואר 1971. בנאום השבעתו לתפקיד הפתיע קרטר את הציבור, והצהיר כי תם זמנה של ההפרדה הגזעית. הקהל נדהם מהשינוי הפתאומי בדבריו של קרטר, ותומכי ההפרדה הגזעית חשו נבגדים. סגנו של קרטר היה לסטר מאדוקס, המושל לשעבר. השניים התעמתו רבות במהלך הכהונה של קרטר. קרטר סירב למנות מינויים פוליטיים, נגד עמדתה של המועצה המחוקקת. במהלך כהונתו ערך רפורמה מנהלית נרחבת בממשל, שכללה ביטול משרות רבות, והנהיג מדיניות של שקיפות ופתיחת דיוני הממשל לציבור. הוא תמך בהרחבת סמכותו, ותמך בשינוי המבנה התקציבי של המחלקות, תוך ביטול התקציב ההמשכי והחלפתו בתקצוב על בסיס אפס, וגם הקים ועדה לבחירת שופטים. רק לאחר מאבק במועצה המחוקקת הצליחה להעביר את התוכנית. התוכנית מיזגה בין שלוש מאות סוכנויות לעשרים ושתיים - מעשה שהדגיש במהלך ריצתו לנשיאות - אם כי לא בטוח שהצעד חסך כסף.
ב-13 בינואר 1972, ביקש קרטר מהמועצה לממן תוכנית לרפורמה בבתי הכלא, לתוכנית פיתוח לילדים והעלאת משכורת לעובדי מדינה. ב-1 במרץ 1972, הודיע שיכנס את האספה הכללית אם מחלקת המשפטים תבטל את המינויים שמינה. ב-20 באפריל, הודיע על כינוס האספה לצורך רפורמה בהליך בחירת השופטים. באפריל 1972, נסע לאמריקה הלטינית כדי לבדוק אפשרות לחתימה על הסכם סחר. קרטר פעל לקדם העדפה מתקנת. הוא הרחיב את מספר עובדי המדינה, השופטים וחברי המועצות השחורים. הוא שכר אישה שחורה שתייעץ לו בכך. כמושל הציב את תמונתו של מרטין לותר קינג בבניין בית המחוקקים של המדינה, למרות הטרדות מצד הקו קלוקס קלאן. ב-31 בינואר 1973, הודיע שהוא תומך בתיקון חוקתי שימנע שילוב גזעי באוטובוסים. קרטר תמך בהחלטה נגד שילוב גזעי באוטובוסים שהציע ג'ורג' וולאס בוועידת המושלים, שהתרחשה בג'ורג'יה.
לאחר שבית המשפט העליון ביטל את עונש המוות בג'ורג'יה, תמך בהחזרת עונש המוות. הוא חתם על חוק בנושא. לאחר מכן התחרט על כך. קרטר ניסה לבצע רפורמות להרחבת המימון לאזורים העניים בג'ורג'יה, להקמת מרכזים קהילתיים לילדים עם מגבלות ולתוכניות חינוכיות לאסירים. הוא התגאה בתוכנית מינוי השופטים שלו, שטיהרה את בית המשפט מהשפעה פוליטית. באחת מהחלטותיו השנויות במחלוקת, הטיל וטו על תוכנית לבניית סכר בג'ורג'יה. הוא טען שמזלזלים בעלות התוכנית ובהשפעתה על החיים באזור, מה שהוביל להתעניינות פעילי איכות הסביבה. לאחר שהואשם סגן בצבא באחריות לטבח מי ליי, נמנע קרטר מלהתייחס לכך, והציע במקום שבוע בו כל התושבים ייסעו עם אורות דלוקים בתמיכה בצבא. קרטר פעל גם בתחום איכות הסביבה, להרחבת אזורים מוגנים ולהגנה על הנהרות. כמו כן קידם החמרת ענישה על עברות סמים.
קרטר קיווה לרוץ לנשיאות, והתחיל להופיע יותר באירועים פוליטיים. הוא היה ציר בוועידה הדמוקרטית הלאומית ב-1972, במהלכה נבחר הסנאטור הליברל ג'ורג' מקגוורן כמועמד המפלגה לנשיאות. קרטר ניסה, ללא הצלחה, להתמנות לסגנו של מקגוורן דרך שיתוף פעולה עם השמרנים הדמוקרטים (לצורך איזון המועמדות בקלפי בריצה משותפת של ליברל ושמרן) לאחר הפסדו של מקגוורן בנובמבר 1972, החל קרטר להיפגש עם מטה הבחירות שלו. הוא החליט לנסות להתמודד. כדי לחזק את מעמדו ניסה להתמודד לראשות איגוד המושלים. הוא נבחר לוועד השלישייה בהמלצת דייוויד רוקפלר. במאי 1973, הזהיר את המפלגה הדמוקרטית מלהפוך את נושא פרשת ווטרגייט לעניין פוליטי, והוא ייחס אותה לכך שהנשיא ריצ'רד ניקסון לא הפגין שקיפות בקבלת החלטות. על פי חוקי ג'ורג'יה מנוע המושל מלכהן שתי כהונות רצופות, וקרטר סיים את תפקידו בתחילת 1975, כשהדמוקרט ג'ורג' באזבי יורש את מקומו כמושל המדינה.
הבחירות לנשיאות 1976.
ב-12 בדצמבר 1974, הכריז באופן רשמי על ריצתו למועמדות מטעם המפלגה הדמוקרטית לנשיאות ארצות הברית. בתחילת המירוץ היה קרטר דמות שולית – מושל לא מוכר ממדינה בינונית בדרום, שלא מעורה בפוליטיקה המפלגתית ברמה הלאומית. הוא נחשב למועמד ללא סיכוי, בעיקר כיוון שרק שני אחוזים מהציבור הכירו אותו. ב-26 בינואר 1976, חשף סקר שרק ארבעה אחוזים מהדמוקרטים העדיפו אותו על פני מועמדים אחרים. עד מרץ 1976, הוא הפך למועמד המוביל, והוביל על הנשיא פורד בכמה אחוזים. באווירה האנטי-ממסדית ששררה אחרי פרשת ווטרגייט הפכה האלמוניות של קרטר דווקא ליתרון, כיוון שהוא הציג את עצמו כאאוטסיידר פוליטי, שיוכל לנקות את האורוות ולארגן מחדש את הממשלה בוושינגטון. ביוני 1976 פרסם ספר כדי להציג את עצמו בפני הציבור.
מועמדותו קיבלה זריקת עידוד מניצחונות מוקדמים בבחירות המקדימות באיווה ובניו המפשייר. הוא התמקד באסטרטגיה כפולה: בדרום, שרובו תמך בג'ורג' וולאס, רץ כמועמד מקומי ומתון. כיוון שוולאס הוביל עליו, ערך קרטר מסע בחירות נמרץ. בצפון, ניסה קרטר למשוך את המצביעים הכפריים ואת הנוצרים השמרנים. היה לו מעט סיכוי לזכות ברוב מוחלט בכל המדינות. הוא נסע לשלושים ושבע מדינות ונאם מעל מאתיים נאומים לפני שהמועמדים האחרים הכריזו על התמודדותם. הוא נחשב בתחילה למועמד אזורי, אך האסטרטגיה שלו הייתה יעילה ביותר, והוא התקרב למועמדות. התקשורת תמכה בקרטר ברובה. במהלך המירוץ ענה בתשובה לשאלה של עיתונאי כי אנשים זכאים לשמור על "טהרה אתנית" של שכונתם. התשובה עוררה סערה, והוא התנצל עליה רק כעבור כמה ימים, אולם בסופו של דבר ההערה לא פגעה במועמדותו.