Sua popularidade nos estados do norte caiu rapidamente após o Ato de Kansas-Nebraska, algo que nulificou o Compromisso do Missouri, enquanto muitos brancos do sul continuaram a apoiá-lo. A aprovação do ato levou a um conflito violento sobre a expansão da escravidão na Região Oeste do país. A administração de Pierce foi mais danificada quando vários diplomatas publicaram o Manifesto de Ostende pedindo a anexação de Cuba, um documento que foi muito criticado. Pierce esperava ser renomeado pelos democratas para a eleição de 1856, porém seu partido lhe abandonou e sua candidatura fracassou. Sua reputação no norte foi prejudicada durante a Guerra de Secessão e ele tornou-se um crítico do presidente Abraham Lincoln. Pierce sempre bebeu muito ao longo de sua vida e morreu de cirrose hepática em 1869. Historiadores norte-americanos e outros comentaristas políticos geralmente colocam Pierce como um dos piores presidentes da história dos Estados Unidos.