以疾求去，罢为端明殿学士、知台州，改知温州。七年（1137年）十一月，为江南西路安抚大使兼知洪州。八年（1138年）五月，陞安抚制置大使。十一月，召入朝，除吏部尚书。十二月，授左中大夫，拜参知政事。九年（1139年）十二月，与尚书右仆射、同中书门下平章事秦桧议事不合，于上前纷争，且言桧之短，被殿中侍御史何铸弹劾光“狂悖失礼”，遂引疾而去，高宗命以资政殿学士出守绍兴府。言者又击之，后三日，提举临安府洞霄宫，免谢辞。十一年（1141年）十一月，御史中丞万俟卨论“乃者二使之还，敌示欲和之意，于国体无损。而光乃阴怀