禹锡等人好友。据说知名道教仙人吕洞宾是吕渭之孙。
家世.曾祖吕顼，以器能显，官青州录事参军；祖父吕崇嗣，以经术闻，征授秘书郎，不就。父吕延之，越州刺史、浙江东道节度使。
生平.吕渭弱冠举进士及第，宰相杜鸿渐代其父吕延之任越州刺史、浙江东道节度使，表授吕渭为左金吾卫兵曹参军，充节度府掌书记。同年父亲吕廷之去世后，他辗转江淮间数年，兵部尚书薛兼训平山越，镇守浙江东道，吕渭被辟为节度巡官，后授婺州永康令。大历五年（770年），薛兼训调任河东节度使，吕渭受杭州刺史