快就在北方衰落。在1856年美国总统选举中，“一无所知”因为奴隶问题而败北。因为其中一个派别支持总统候选人美纳特·菲尔莫尔和副总统候选人（Andrew Jackson Donelson），他们获得了23%的选民投票和马里兰州的八张选举人票。菲尔莫尔在宾夕法尼亚州没有得到足够的选票去阻止詹姆斯·布坎南进入白宫。大多数进入美国人党的反奴隶制人士在极富争议的德雷德·史考特（Dred Scott）裁决案发生之后加入共和党。美国人党中亲奴隶制的一派仍然在一些南方州份的州和地方各级仍然实力强悍，但是在1860年美国总统