胄任枢密都承旨，与右丞相赵汝愚倾轧，韩侂胄指使正言李沐劾赵汝愚，并参劾颂赵汝愚者。吕祖俭上书，反对斥逐忠良老成之臣，说：“恐自是天下有当言之事，必称相视以为戒。钳口结舌之风，一成而不易反，是岂国家之利耶？”宋宁宗认为目无君主，“朋比罔上”，吕祖俭遂被贬置韶州，中途改吉州。后吕祖俭遇赦，移置高安，居大愚山真如寺，自称大愚叟。常穿草鞋上山採药，以卖药为生。和陈亮有交谊，陈亮曾曰：“子约以其兄之故，亦相与如骨肉。”着有《大愚集》11卷。庆元四年（1198年）卒。嘉定初赠朝奉郎、直秘阁，谥忠。有子吕乔年。