狂悖失礼”，遂引疾而去，高宗命以资政殿学士出守绍兴府。言者又击之，后三日，提举临安府洞霄宫，免谢辞。十一年（1141年）十一月，御史中丞万俟卨论“乃者二使之还，敌示欲和之意，于国体无损。而光乃阴怀怨望，鼓唱万端，乘时诽讪，罪不可赦”，责授宁远军节度副使、藤州安置。十四年（1144年）七月，以坐前为江南东路安抚大使时擅用上供钱帛，特降三官。十一月，御史中丞杨愿言光“负倾险之资，挟纵横之辨，谄附蔡京，窃位省郎，人伦堕坏，廉耻不闻，方时用兵，迎合干进，及修邻好，阳为应和，以得执政，闻蓝公佐之归，则又狂悖为必去之计