854年冬春之交前往克莱参议员的墓地探视，同时避开公众视野与政要见面。《堪萨斯-内布拉斯加法案》在皮尔斯的支持下通过，辉格党早已分裂，剩下的对法案泾渭分明，菲尔莫尔的回归自然不可能会是党派崛起的信号。包括苏厄德在内的反奴隶制北方人士被吸引到新组建的共和党，但菲尔莫尔觉得那里没有他的位置。19世纪50年代初期，许多美国人对移民、特别是不久前大批抵达美国的天主教徒颇具敌意，星条旗社（）等大量排外主义组织随之兴起。1854年，星条旗社已演变成美国人党（），外界人称“一无所知”，因为该党早期成员都需立誓对党内活