部员外郎，充观察判官，改任考功郎中兼侍御史，赐绯鱼袋，职如故。陈少游幕府解散后，除舒州刺史。贞元初（785年），征拜朝散大夫、行尚书吏部员外郎。四年后迁任驾部郎中、知制诏。满岁，拜中书舍人，加中大夫。丁继母忧，去官守孝，自己从越州迁回父亲棺柩，命长子吕温去魏州迁回生母棺柩，与继母合葬于洛阳。服阕，授太子右庶子，加通议大夫。俄迁尚书礼部侍郎。中书省有柳树，建中末枯死，兴元元年德宗车驾还京后，其树再次发芽生长，人谓之瑞柳。吕渭作为考官，以瑞柳为赋题，受到德宗赞赏。他为巴结权臣裴延龄，特取其子裴操为进士，