党内为此争议生极深的裂痕，因而于1852年总统选举中弃现任总统菲尔莫尔于不顾，改提名史考特参选，自此辉格党未曾再产生出任何一位总统，票源流失至主张保护本土文化的一无所知党、反对蓄奴的共和党、甚至是其憎恨的民主党。不少辉格党员转投共和党，其中林肯在1860年总统选举当选总统，继承了它的政治地位。
建党起源与政策.辉格党于1833年冬天至1834年之间，由前民主共和党与国家共和党两党党员如亨利·克雷与约翰·昆西·亚当斯等，以及南方的州权拥护者如（Willie Person Mangum