托文记，遂出为潭州刺史、兼御史中丞，赐紫金鱼袋，充湖南都团练观察使，在任三年，贞元十六年七月一日（800年7月25日）薨于镇，年六十六。赠陕州大都督。以其年十二月八日与夫人柳氏合葬于洛阳邙山清风原之大茔。夫人河东郡君柳氏，先于吕渭七日而逝，有子四人：吕温、吕恭、吕俭、吕让。吕让墓志铭载其有五子：吕焕、吕熀、吕煜、吕炫、吕烜。吕烜与吕让同卒于大中九年（855年），余四子俱在。道教典籍云八仙中之吕洞宾名岩者为吕让子，当出于附会。