તેમણે 1 9 26 માં એઝરા કાર્ટર સાથે લગ્ન કર્યાં અને ત્રણ પુત્રીઓ - હેલેન, વેલેરી અને જૂન લગ્નના એક વર્ષ બાદ, તે કાર્ટર ફેમિલી શરૂ કરવા માટે તેણીના પિતરાઇ ભાઇ સારા અને ભાભી એપી સાથે જોડાયા હતા.