老成之臣，说：“恐自是天下有当言之事，必称相视以为戒。钳口结舌之风，一成而不易反，是岂国家之利耶？”宋宁宗认为目无君主，“朋比罔上”，吕祖俭遂被贬置韶州，中途改吉州。后吕祖俭遇赦，移置高安，居大愚山真如寺，自称大愚叟。常穿草鞋上山採药，以卖药为生。和陈亮有交谊，陈亮曾曰：“子约以其兄之故，亦相与如骨肉。”着有《大愚集》11卷。庆元四年（1198年）卒。嘉定初赠朝奉郎、直秘阁，谥忠。有子吕乔年。