Los antepasados de Carter procedían del sur de Inglaterra (su familia paterna llegó a las Colonias americanas en 1635), y han vivido en el Estado de Georgia durante varias generaciones.