吉阳军安置。过雷州时，知州王惕“假肩与以送”，秦桧闻知，谪王惕金州。流寓三年，“深居简出，杜门谢访”，以抗议秦桧的迫害，秦桧深感胆寒，“此老倔强犹者”。后有宝文阁直学士、左朝议大夫、广南西路经略安抚使张宗元遣人持诗书、药石前往慰问，不久张宗元被调离广南西路。十七年（1147年）四月，诏遇赦永不检举。八月，绝食而死，临终前自书墓石：「身骑箕尾归天上，气作山河壮本朝」，葬于昌化县旧县村。十八年（1148年）二月，诏令归葬。二十六年（1156年）正月，追复特进、观文殿大学士。孝宗即位，追谥忠简，追封丰国公