En 1966, cuando terminaba su legislatura en el senado de Georgia, se planteó presentarse como candidato a la Cámara de Representantes de los Estados Unidos, pero cuando su rival republicano, Howard Callaway, retiró su candidatura a esta cámara para postularse como candidato para gobernador del estado de Georgia, Carter que no quería ver a un gobernador republicano en su Estado, también se retiró de la carrera para el Congreso y se incorporó como candidato a gobernador.