百官转对，置理检使，为宰相吕夷简所忌。八月，加刑部侍郎、复为枢密副使。明道元年（1032年）十一月，迁尚书省左丞。仁宗亲政，枢密院、中书门下两府大臣皆罢。二年（1033年）四月，罢为礼部尚书、知襄州，未行，改知颍州。七月，知青州兼京东灾伤州军体量安抚使。景祐元年（1034年）八月，罢安抚使，加刑部尚书。二年（1035年），知应天府兼南京留守。宝元元年（1038年）三月，以户部尚书入为三司使。元昊反，十二月，拜奉宁军节度使、知永兴军、兼马步军都部署、提举干耀等州军马、泾原秦凤路安抚使。二年（1039年）正