Hans ettermæle var skjemmet av at han aldri tok et oppgjør med sørstatenes slavehold. Han ble husket som det arketypiske før-borgerkrigs (= deigfjes), en nordstatsboer som tok sørstatenes side og nektet å ta stilling til datidens store moralske spørsmål om å tillate slaveri eller forby det.