奴的辉格党员分裂，而反对蓄奴者之力足以阻止菲尔摩于1852年获得党内提名。辉格党企图重演先前的胜利，提名甚孚众望的温菲尔德·史考特将军，却败于民主党的富兰克林·皮尔斯。民主党于此次选举中可称大胜：皮尔斯于31州中赢了27州，包含史考特的家乡维吉尼亚州。俄亥俄州的辉格党籍众议员为此败心烦意乱，唿号道：「我们完蛋了，这个党死到不能再死了！」越来越多的政治人士体认到该党难以翻身。例如伊利诺州政治领袖亚伯拉罕·林肯脱党重执律师业。1854年的堪萨斯-内布拉斯加法案引爆这样的想法。南方的辉格党人逐渐转向支持该法案