世纪末期，辉格党势力逐渐衰退。18世纪末19世纪初一段时期，辉格党在政治上失势。1830年重新掌权。19世纪中叶，辉格党势力大增。在当时英国工业发展、经济繁荣的条件下，辉格党的政策反映了资产阶级的利益。19世纪60年代，辉格党土地贵族联合保守党的罗伯特·皮尔派系，以工商业资产阶级为基础组建英国自由党。也有人认为，辉格党是于1839年改称自由党的。