Carter nunca fue un segregacionista y se negó a unirse al segregacionista "Consejo de Ciudadanos Blancos", lo que provocó el boicot a su empresa de cacahuetes.