请求监安仁赡军酒库，并完成学业，但他到衡州时，刘清之已被罢官。赵蕃也就请求做祠禄官，随刘清之回乡。后来真德秀在写《国史》时写道：“蕃于师友之际盖如此，肯负国乎！”刘清之归乡后，筑槐阴精舍以安置前来的学者。胡晋臣、郑侨、尤袤、罗点都对皇帝力荐刘清之。宋光宗即位，起用刘清之知袁州，刘清之病发，仍写信给宰执议论国事。诸生前去侍疾，他不停止讲论，谈到天下就孜孜叹息，好像自己是负责者一样。病亡前，写信告别向浯、彭龟年，赋诗二首以告别朱熹、杨万里，取高氏《送终礼》授二子说：“自敛至葬，视此从事。”周必大来探病，说：