吉甫被他们的批评激怒，视之为对他的人身攻击，哭着对宪宗说给韦贯之和杨于陵覆策的裴垍、翰林学士王涯有利害冲突，皇甫湜又是王涯的外甥。因李吉甫弹劾，裴垍、王涯、杨于陵、郑敬、韦贯之、李益都被贬，韦贯之先被贬为果州刺史，数日后在途中再贬巴州刺史。翰林学士拾遗白居易作《》为裴垍、王涯、韦贯之等辩解。但韦贯之当年就被召回长安为都官郎中，与裴度都被当时拜相的裴垍用为知制诰。五年（810年）八月，以都官郎中拜中书舍人。裴垍为宰相时，曾经三次奏事，宪宗不从，但在韦贯之指点下，裴垍所言被宪宗听取，于是裴垍说：“君以后当居此位