Durante la Guerra Civil, Phillips criticó a Abraham Lincoln por su falta de compromiso con la abolición de la esclavitud (el político abogaba por hacerlo de forma gradual), enfrentándose por ello a Garrison, que sí apoyó la reelección del Presidente.