人们从中发现通过隐藏隧道连接主建筑的隐蔽容器，用于逃奴藏身。史蒂文斯一直公开支持终结奴隶制，反对奴隶制扩张直到南北战争爆发，但因《美国宪法》保护州内事务免遭外界干涉，他并不强求各州废除已经存在的奴隶制。1844和1848年的辉格党总统候选人分别是亨利·克莱和扎卡里·泰勒，两人都是奴隶主，但这不影响史蒂文斯的支持立场。
首次踏上国会山.1848年，史蒂文斯竞选宾夕法尼亚州第八国会选区的联邦众议员席位，但辉格党大会上部分代表觉得他加入党派时间太晚，不应获提名，还有部分代表反感他对奴