遂被贬置韶州，中途改吉州。后吕祖俭遇赦，移置高安，居大愚山真如寺，自称大愚叟。常穿草鞋上山採药，以卖药为生。和陈亮有交谊，陈亮曾曰：“子约以其兄之故，亦相与如骨肉。”着有《大愚集》11卷。庆元四年（1198年）卒。嘉定初赠朝奉郎、直秘阁，谥忠。有子吕乔年。