越多的政治人士体认到该党难以翻身。例如伊利诺州政治领袖亚伯拉罕·林肯脱党重执律师业。1854年的堪萨斯-内布拉斯加法案引爆这样的想法。南方的辉格党人逐渐转向支持该法案，而北方的辉格党人持续强烈反对。剩下的辉格党人，大部份成员如林肯等人加入了新成立的共和党，共和党强力抨击该法案，诉诸北方因该法案实质撤销密苏里协议而导致的群情激愤。另有些辉格党人受一无所知党反对「腐化」爱尔兰裔与德裔，保护本土文化的圣战所吸引，而于1854年加入该党。在南方，许多辉格党人成为无党籍人士，后于1855年至1859年间支持由一无