游幕府解散后，除舒州刺史。贞元初（785年），征拜朝散大夫、行尚书吏部员外郎。四年后迁任驾部郎中、知制诏。满岁，拜中书舍人，加中大夫。丁继母忧，去官守孝，自己从越州迁回父亲棺柩，命长子吕温去魏州迁回生母棺柩，与继母合葬于洛阳。服阕，授太子右庶子，加通议大夫。俄迁尚书礼部侍郎。中书省有柳树，建中末枯死，兴元元年德宗车驾还京后，其树再次发芽生长，人谓之瑞柳。吕渭作为考官，以瑞柳为赋题，受到德宗赞赏。他为巴结权臣裴延龄，特取其子裴操为进士，被人嗤鄙。因入阁遗失请托文记，遂出为潭州刺史、兼御史中丞，赐紫金鱼