I 1848 ble Zachary Taylor valgt til president for Whigs. I likhet med Harrison døde også han i embetet, og ble erstattet av Millard Fillmore. Uenighet rundt spørsmålet om slaveri skapte imidlertid problemer og intern splittelse, og bidro i stor grad til at partiet tapte neste valg. Siste gang Whigs stilte til valg var i 1856.