L'instauration de la conscription et l'arrestation de Clement Vallandigham, un représentant hostile l'administration, ulcéra Pierce qui attaqua frontalement Lincoln lors d'un discours devant les démocrates du New Hampshire. Ces déclarations furent mal reçues au nord d'autant plus qu'elles coïncidèrent avec les doubles victoires de l'Union à Gettysburg et Vicksburg. Sa réputation fut encore atteinte le mois suivant quand les troupes nordistes s'emparèrent de la plantation du président des États confédérés, Jefferson Davis. La correspondance d'avant-guerre entre les deux hommes révélant l'amitié entre Davis et Pierce fut publiée par les journaux du Nord et renforça l'hostilité du mouvement abolitionniste contre l'ancien dirigeant.