写《论语》、《大学》、《中庸》、《孟子》传之，时谓‘桦叶四书’”，“其酋闻洪尚书名，争邀入庐，出妻女胡舞，举浑脱酒以劝”绍兴十三年（1143年）绍兴和议成，和张邵、朱弁回归南宋。前后一共在金国渡过了十五年，虽然备尝艰苦，被扣15年仍不屈服，被比作宋之苏武，赐第于杭州西湖边葛岭。南归后，授徽猷阁直学士；因赞同张浚对金抗战，“称张浚为金人所惧，乃在宋不得用”，见桧即言不可苟安钱塘，数次得罪奸臣秦桧，为桧所忌；十七年授濠州团练副使，五月，安置英州（今广东省英德市），居英州九年，开始口述《松漠纪闻》。复为朝奉郎