距落败给很受民众欢迎的杰克逊。1834年克莱组织了辉格党，包括原来国家共和党的绝大部分。1840年克莱第三次参加竞选，但是党内提名上败给在对印第安人的战争中取得胜利的威廉·亨利·哈里森而未获得提名。1844年第四次参加竞选，竞争对手是民主党的詹姆斯·诺克斯·波尔克。波尔克提出54度40分或者战争的口号，并且主张让得克萨斯州加入联邦，克莱则认为这样造成奴隶制的抬头，同时会引起和墨西哥的战争。波尔克的主张赢得了扩张主义者和南方的支持而赢得了这次票数极为接近的大选。两人在至关重要的有36位选举人的纽约州仅差50