为不应该设置统督，这会让将领持重，但未被听取。四年后吴元济才依韦贯之之策被平定，王承宗果然如韦贯之所料臣服。不久，迁中书侍郎。同僚推荐张仲素、左补阙段文昌为学士，段文昌是武元衡女婿，韦贯之与武元衡不协，认为张、段行止不正，不宜在内庭，拒绝了。当时，左补阙张宿有口辩，得宠于宪宗，宪宗命他出使平卢节度使李师道，宰相裴度想为他请求越级的银绯章服，韦贯之拒绝，认为张宿奸佞，因此被张宿怨恨。韦贯之性格高傲，不和他认为出身低的人交往。和裴度在御前论兵时，他也惹怒了宪宗。张宿弹劾他结党，八月，他被罢相为守吏部侍郎，散官勋