斯基本不可能获党派提名连任，结果连他挑选的继任人选都没拿到提名。
一无所知运动与共和党.无官一身轻的史蒂文斯专心执业，是全州颇具威名的大牌律师。他依然积极参与政治，为争取选民支持反奴隶制运动而在1854年加入本土主义者组建的一无所知党。新党要求党员发誓不对外透露党内事务（对外宣称“一无所知”），这种保密规则与共济会如出一辙，史蒂文斯因加入该党受到谴责。1855年，史蒂文斯加入新成立的共和党，许多同样反对奴隶制的前辉格党人也不例外，如纽约州的威廉·H·苏厄德、马萨诸塞州的查尔斯·萨姆