在金国渡过了十五年，虽然备尝艰苦，被扣15年仍不屈服，被比作宋之苏武，赐第于杭州西湖边葛岭。南归后，授徽猷阁直学士；因赞同张浚对金抗战，“称张浚为金人所惧，乃在宋不得用”，见桧即言不可苟安钱塘，数次得罪奸臣秦桧，为桧所忌；十七年授濠州团练副使，五月，安置英州（今广东省英德市），居英州九年，开始口述《松漠纪闻》。复为朝奉郎，调任袁州（今江西宜春）通判。绍兴二十五年（1155年）秦桧死后召回，死于南雄（今广东南雄）越大庾岭途中，终年六十八岁，谥为「忠宣」。着有《文集》、《春秋纪咏》、《姓氏指南》、《松漠纪闻》二