争权，被罢黜，十四年（1144年）二月，御史中丞李文会、右谏议大夫詹大方奏其“黩货营私，窥摇国是”，卨上章求去，高宗命以资政殿学士出守，秦桧大怒，给事中杨愿封还诏书，历数其罪，以原官提举江州太平宫。六月，降左中大夫，归州居住。二十年（1150年）八月，移沅州。二十五年（1155年）十一月，秦桧死。十二月，任便居住，复左通奉大夫、资政殿学士、提举万寿观兼侍读，诏还朝。二十六年（1156年）三月，入对，奏五事：权臣执国命，威福之柄下移，人不知有上，故相旧弼，摈斥殆尽，谗佞欺诈之徒，造为险语，中伤善类，人不自保，