义游说很多权臣为他说话，但韦贯之坚持，还将此事上表皇帝，金忠义之子最终未获官职。韦贯之还言辞恳切地弹劾金忠义为官的资格，使得金忠义被罢免。改吏部员外郎。三年（808年）四月，宪宗策试贤良方正直言极谏举人，韦贯之和户部侍郎杨于陵、左司郎中郑敬、都官郎中李益为考策官。伊阙尉牛僧孺、陆浑尉皇甫湜、前进士李宗闵三人批评时政，韦贯之选他们为上等，对策为中等，又为不中第者注解牛、李策语。中书舍人裴垍复查后也认可。但宰相李吉甫被他们的批评激怒，视之为对他的人身攻击，哭着对宪宗说给韦贯之和杨于陵覆策的裴垍、翰林学士王涯