I mai 1842 ble Webster tvunget til å gå av som minister av Whig-partiet og forlot dermed Tylers kabinett. Han kom likevel til å fortsette i rollen som utenriksminister da han ble utnevnt på nytt av president Millard Fillmore i juli 1850. I mellomtiden ble han gjenvalgt i Senatet i 1845, hvor han blant annet motsatte seg annekteringen av Texas. Han stilte også til valg som Whig-partiets kandidat ved presidenvalget i 1848, men måtte til slutt se seg slått av krigshelten Zachary Taylor som gikk frem og vant valget. Også her ble han tilbudt visepresidentrollen, men avslo bryskt, noe som ironisk nok kunne ha gjort han til president for andre gang da både president Harrison og president Taylor begge døde relativt kort tid etter innsettelsen.