婺州永康令。大历五年（770年），薛兼训调任河东节度使，吕渭受杭州刺史相里造邀请，出任其属下团练判官。大历七年，御史大夫李涵领浙江西道，表授吕渭为大理评事，充观察支使。大历十年，魏博节度使田承嗣以魏州叛，吕渭随李涵前往宣抚，返回后拜监察御史，转殿中侍御史。唐德宗即位后，李涵被拜为太子少傅，吕渭为使李涵再上一级，上表称李涵父名少康，今涵为少傅，恐乖朝典。由是特授渭尚书司门员外郎，赐绯鱼袋。不久被御史台的谏议大夫崔河图弹劾说：“李涵前次任少卿时不说，今为少傅，疑以散慢，乃为不可。”于是吕渭被贬歙州司马，改李