Odată ce Fillmore s-a întors acasă în Buffalo, nu avea nici o scuză să țină discursuri, iar campania lui a stagnat în vara și în toamna anului 1856. Aranjorii politici care făcuseră parte din Whig, cum ar fi Weed, aveau tendința de a se alătura partidului republican, iar Know Nothing nu avea experiență de a prezenta alegătorilor altceva decât nativismul. În consecință, poziția pro-Uniune a lui Fillmore a fost în cea mai mare parte ignorată. Deși sudul era prietenos cu Fillmore, mulți se temeau că o victorie Frémont ar duce la secesiune, iar unii simpatizați de-ai lui Fillmore au trecut în tabăra lui Buchanan pentru ca votul anti-Fremont să nu fie împărțit, ceea ce ar putea duce la alegerea republicanului. Scarry a sugerat că evenimentele din 1856, inclusiv conflictul din teritoriul Kansas și bătaia cu bastonul administrată lui Charles Sumner de către senatorul Preston Brooks în Senat, au polarizat națiunea, făcând ca poziția moderată a lui Fillmore să fie depășită.