在1855年至1856年期间，该党很快就在北方衰落。在1856年美国总统选举中，“一无所知”因为奴隶问题而败北。因为其中一个派别支持总统候选人美纳特·菲尔莫尔和副总统候选人（Andrew Jackson Donelson），他们获得了23%的选民投票和马里兰州的八张选举人票。菲尔莫尔在宾夕法尼亚州没有得到足够的选票去阻止詹姆斯·布坎南进入白宫。大多数进入美国人党的反奴隶制人士在极富争议的德雷德·史考特（Dred Scott）裁决案发生之后加入共和党。美国人党中亲奴隶制的一派仍然在一些南方州份的州和地方各级仍