票源流失至主张保护本土文化的一无所知党、反对蓄奴的共和党、甚至是其憎恨的民主党。不少辉格党员转投共和党，其中林肯在1860年总统选举当选总统，继承了它的政治地位。
建党起源与政策.辉格党于1833年冬天至1834年之间，由前民主共和党与国家共和党两党党员如亨利·克雷与约翰·昆西·亚当斯等，以及南方的州权拥护者如（Willie Person Mangum）等共组。在建党之初，辉格党仅因反对安德鲁·杰克森总统之政策而协同一致，特别是对其不经国会同意即自合众国第二银行结清政府款项感到不满