化，史蒂文斯成为北方废奴运动的代表人物。名望提升不能避免史蒂文斯在政坛遭遇挫折。1851年12月，他试图废除《1850年妥协案》中令废奴主义者深感冒犯的条款，但其他辉格党议员拒绝援手，史蒂文斯退出党派核心。他在1852年大选支持辉格党总统候选人温菲尔德·斯科特，但选区内还是有许多选民反感他对奴隶制，以及在前述叛国案审理期间抱持的立场，再加上政敌落井下石，史蒂文斯基本不可能获党派提名连任，结果连他挑选的继任人选都没拿到提名。
一无所知运动与共和党.无官一身轻的史蒂文斯专心执业，是