Sa popularité dans les États abolitionnistes du Nord s'effondra après l'adoption de l'acte Kansas-Nebraska et les violences qui amenèrent un gouvernement esclavagiste au pouvoir dans le Kansas en violation du compromis de 1820. Abandonné par son parti, Pierce ne parvint pas à obtenir la nomination de son parti pour un second mandat en 1856. Ses critiques envers le président Abraham Lincoln durant la guerre de Sécession ne firent rien pour améliorer sa réputation au nord et il mourut d'une cirrhose en 1869.