右庶子，加通议大夫。俄迁尚书礼部侍郎。中书省有柳树，建中末枯死，兴元元年德宗车驾还京后，其树再次发芽生长，人谓之瑞柳。吕渭作为考官，以瑞柳为赋题，受到德宗赞赏。他为巴结权臣裴延龄，特取其子裴操为进士，被人嗤鄙。因入阁遗失请托文记，遂出为潭州刺史、兼御史中丞，赐紫金鱼袋，充湖南都团练观察使，在任三年，贞元十六年七月一日（800年7月25日）薨于镇，年六十六。赠陕州大都督。以其年十二月八日与夫人柳氏合葬于洛阳邙山清风原之大茔。夫人河东郡君柳氏，先于吕渭七日而逝，有子四人：吕温、吕恭、吕俭、吕让。吕让