Su reputación en el Norte sufrió aún más durante la Guerra Civil Estadounidense cuando se convirtió en un crítico del presidente Abraham Lincoln.