8年）五月，陞安抚制置大使。十一月，召入朝，除吏部尚书。十二月，授左中大夫，拜参知政事。九年（1139年）十二月，与尚书右仆射、同中书门下平章事秦桧议事不合，于上前纷争，且言桧之短，被殿中侍御史何铸弹劾光“狂悖失礼”，遂引疾而去，高宗命以资政殿学士出守绍兴府。言者又击之，后三日，提举临安府洞霄宫，免谢辞。十一年（1141年）十一月，御史中丞万俟卨论“乃者二使之还，敌示欲和之意，于国体无损。而光乃阴怀怨望，鼓唱万端，乘时诽讪，罪不可赦”，责授宁远军节度副使、藤州安置。十四年（1144年）七月，以坐前为江南东路