妃和宦官杨怀敏，为宋仁宗所不悦。让他以天章阁待制出知庆州，改任龙图阁直学士、知秦州，后知开封府。至和二年（1055年）兼侍读，拜御史中丞。论时事无所畏避，曾奉命出使契丹国。嘉祐三年（1058年）擢升为枢密副使。嘉祐五年（1060年）拜参知政事、枢密使，与韩琦请求宋仁宗建储。宋英宗即位，因为年老坚请辞位。以彰信军节度使、同中书门下平章事判许州，改镇河阳三城。以太子太师致仕。宋神宗熙宁十年（1077年）卒，年八十六岁，赠司徒兼侍中，谥康节。《全宋词》录其词二首。薛砺若《宋词通论》：“昇词以《离亭燕》为最有名。”