Pierce ficou ainda mais irritado pela instituição da convocação militar e pela prisão do democrata anti-governo Clement Vallandigham, com o ex-presidente discursando em julho de 1863 para democratas de Nova Hampshire vilificando Lincoln: "Quem, eu pergunto, vestiu o Presidente com poder para ditar a qualquer um de nós quando devemos ou quando podemos falar, ou ficar em silêncio sobre qualquer assunto, e especialmente em relação à conduta de qualquer funcionário público?". Seus comentários foram mal recebidos em boa parte do norte, especialmente porque suas críticas a Lincoln coincidiram com as vitórias da União na Batalha de Gettysburg e no Cerco de Vicksburg. A reputação de Pierce no norte dos Estados Unidos foi danificada ainda mais no mês seguinte quando a fazenda de Davis, o presidente Confederado, no Mississippi foi tomada por soldados da União. Fora parar na imprensa toda a correspondência entre o ex-presidente e seu ex-secretário, datando de tempos antes da guerra, revelando a grande amizade entre os dois e prevendo que uma guerra civil iria resultar em insurreições no norte. As palavras de Pierce endureceram o sentimento abolicionista contra ele.