Jimmy Carter ble født den 1. oktober 1924 i Plains i Georgia. Han har utdannelse fra United States Naval Academy hvor han ble uteksaminert i 1946. Han tjenestegjorde i US Navy fram til farens død i juli 1953, da han som løytnant søkte avskjed for å overta familiebedriften i Plains. Bedriften produserte peanøtter noe som etter hvert gjorde ham ganske velstående. Han engasjerte seg tidlig i politikk, og satt to perioder (valgt i 1962 og 1964) i staten Georgias senat.