התנועה לזכויות האזרח החלה במאבקה במהלך כהונתו של קרטר. משפחתו תמכה בג'ון פיצג'רלד קנדי. ב-1962, העיר אמריקוס הייתה מלאה בעוינות כלפי השחורים, והאווירה כנגד המפגינים השחורים הייתה עוינת. קרטר שתק בנוגע לנושא, כדי לא לפגוע בשותפיו שתמכו בהפרדה גזעית. הוא כן התנגד להתניית זכות הצבעה בידיעת קרוא וכתוב, והתנגד לשינוי בחוקת ג'ורג'יה שסבר שנועד לכפייה דתית. עם רצח קנדי, הודיע קרטר שמדובר במכה הקשה ביותר שספג מאז מות אביו.