后，他辗转江淮间数年，兵部尚书薛兼训平山越，镇守浙江东道，吕渭被辟为节度巡官，后授婺州永康令。大历五年（770年），薛兼训调任河东节度使，吕渭受杭州刺史相里造邀请，出任其属下团练判官。大历七年，御史大夫李涵领浙江西道，表授吕渭为大理评事，充观察支使。大历十年，魏博节度使田承嗣以魏州叛，吕渭随李涵前往宣抚，返回后拜监察御史，转殿中侍御史。唐德宗即位后，李涵被拜为太子少傅，吕渭为使李涵再上一级，上表称李涵父名少康，今涵为少傅，恐乖朝典。由是特授渭尚书司门员外郎，赐绯鱼袋。不久被御史台的谏议大夫崔河图弹劾说：