回到水牛城后，菲尔莫尔没有理由再公开演讲，他的竞选活动在1856年夏季和秋季基本停滞。威德等昔日辉格党的政治调停人倾向加入共和党，美国人党缺乏政治经验，基本上只会宣扬排外主义思想，这就导致菲尔莫尔维护联邦的主张鲜有耳闻。南方人看好菲尔莫尔，许多人担心弗雷蒙特当选会导致国家分裂，部分认可菲尔莫尔的人于是转投布坎南阵营，避免反对弗雷蒙特的选票分散致使共和党候选人当选。斯卡里认为，1856年发生的众多事件，如堪薩斯領地的武装冲突、联邦参议院的肢体冲突令国家两极分化，菲尔莫尔的温和立场已不合时宜。