李益为考策官。伊阙尉牛僧孺、陆浑尉皇甫湜、前进士李宗闵三人批评时政，韦贯之选他们为上等，对策为中等，又为不中第者注解牛、李策语。中书舍人裴垍复查后也认可。但宰相李吉甫被他们的批评激怒，视之为对他的人身攻击，哭着对宪宗说给韦贯之和杨于陵覆策的裴垍、翰林学士王涯有利害冲突，皇甫湜又是王涯的外甥。因李吉甫弹劾，裴垍、王涯、杨于陵、郑敬、韦贯之、李益都被贬，韦贯之先被贬为果州刺史，数日后在途中再贬巴州刺史。翰林学士拾遗白居易作《》为裴垍、王涯、韦贯之等辩解。但韦贯之当年就被召回长安为都官郎中，与裴度都被当时拜相的裴