También fue acusado de ser promovedor de la esclavitud, razón por la que decían que apoyaba la anexión de Texas y después la guerra con México.