被罢免。改吏部员外郎。三年（808年）四月，宪宗策试贤良方正直言极谏举人，韦贯之和户部侍郎杨于陵、左司郎中郑敬、都官郎中李益为考策官。伊阙尉牛僧孺、陆浑尉皇甫湜、前进士李宗闵三人批评时政，韦贯之选他们为上等，对策为中等，又为不中第者注解牛、李策语。中书舍人裴垍复查后也认可。但宰相李吉甫被他们的批评激怒，视之为对他的人身攻击，哭着对宪宗说给韦贯之和杨于陵覆策的裴垍、翰林学士王涯有利害冲突，皇甫湜又是王涯的外甥。因李吉甫弹劾，裴垍、王涯、杨于陵、郑敬、韦贯之、李益都被贬，韦贯之先被贬为果州刺史，数日后在途中