“朱熹不慊”，不欢而散。陈亮尊奉吕祖谦为“道德一世师表”。淳熙四年奉宋孝宗之命编辑《宋文鑑》。淳熙六年（1179年）七月二十八日，第三任妻子芮氏去世。晚年喜阅读医书。淳熙八年（1181年）七月二十九日病故。。葬于浙东武义武阳镇明招寺南300米。岳父韩元吉在吕祖谦死后有诗：“青云涂路本青毡圣愿相期四十年台阁久嗟君卧疾山林空叹我华颠伤心二女同新穴拭目诸生续旧编斗酒无因相沃酹朔风东望涕潸然”。
着作.《左传说》、《东莱左氏博议》 、《历代制度详说》、《宋文鑑》等书，及与朱熹合编《近思