大历十年，魏博节度使田承嗣以魏州叛，吕渭随李涵前往宣抚，返回后拜监察御史，转殿中侍御史。唐德宗即位后，李涵被拜为太子少傅，吕渭为使李涵再上一级，上表称李涵父名少康，今涵为少傅，恐乖朝典。由是特授渭尚书司门员外郎，赐绯鱼袋。不久被御史台的谏议大夫崔河图弹劾说：“李涵前次任少卿时不说，今为少傅，疑以散慢，乃为不可。”于是吕渭被贬歙州司马，改李涵检校工部尚书、兼光禄卿。不久吕渭由歙州司马转任楚州司马，后进入淮南节度使陈少游幕府中任参谋，寻表授检校礼部员外郎，充观察判官，改任考功郎中兼侍御史，赐绯鱼袋，职如