是唐德宗李适时期湖南的潭州刺史、兼御史中丞、湖南都团练观察处置等使。子吕温是柳宗元、刘禹锡等人好友。据说知名道教仙人吕洞宾是吕渭之孙。
家世.曾祖吕顼，以器能显，官青州录事参军；祖父吕崇嗣，以经术闻，征授秘书郎，不就。父吕延之，越州刺史、浙江东道节度使。
生平.吕渭弱冠举进士及第，宰相杜鸿渐代其父吕延之任越州刺史、浙江东道节度使，表授吕渭为左金吾卫兵曹参军，充节度府掌书记。同年父亲吕廷之去世后，他辗转江淮间数年，兵部尚书薛兼训平山越，镇守浙江东道，吕渭被辟