南归后，授徽猷阁直学士；因赞同张浚对金抗战，“称张浚为金人所惧，乃在宋不得用”，见桧即言不可苟安钱塘，数次得罪奸臣秦桧，为桧所忌；十七年授濠州团练副使，五月，安置英州（今广东省英德市），居英州九年，开始口述《松漠纪闻》。复为朝奉郎，调任袁州（今江西宜春）通判。绍兴二十五年（1155年）秦桧死后召回，死于南雄（今广东南雄）越大庾岭途中，终年六十八岁，谥为「忠宣」。着有《文集》、《春秋纪咏》、《姓氏指南》、《松漠纪闻》二卷、诗集《鄱阳集》四卷、词集《鄱阳词》一卷。有子洪适、洪遵、洪迈。其后人辗转定居于现福建省金