门，门者问其故，赵立无谋，言“刘相公遣我持书来招骊太尉”，守者以白琼，骊琼不启书而焚之，械送狱，既而纵之。闰六月，刘退军太平州。九月，左光禄大夫、尚书右仆射、同中书门下平章事兼枢密使秦桧主罢兵，刘还军池州。十一年（1141年）六月，罢为万寿观使，寓居温州。高宗谓大臣曰“光世勋臣，朕未尝忘，闻其疾中无聊，昨日以玩好物数种赐之，光世大喜，秉烛夜观，几至四更，朕于宫中，凡玩好之物，未尝经目，止须赐勋贵贤劳耳”。十二年（1142年）八月，太后回銮，大臣俱入贺，时刘已病。九月，扶病赴阙，高宗宣御医疗治。十月，改封