内的反奴隶制北方人士被吸引到新组建的共和党，但菲尔莫尔觉得那里没有他的位置。19世纪50年代初期，许多美国人对移民、特别是不久前大批抵达美国的天主教徒颇具敌意，星条旗社（）等大量排外主义组织随之兴起。1854年，星条旗社已演变成美国人党（），外界人称“一无所知”，因为该党早期成员都需立誓对党内活动保密，面对询问就自称“一无所知”。这年大部分支持菲尔莫尔的“国家辉格党人”都已加入一无所知，并推动新党接纳除排外主义以外的其他诉求。一无所知党在1854年中期选举中的胜利令菲尔莫尔深受鼓舞，他们不但拿下北方多个州，