认为出身低的人交往。和裴度在御前论兵时，他也惹怒了宪宗。张宿弹劾他结党，八月，他被罢相为守吏部侍郎，散官勋赐如故。不到十天，九月，翰林学士、左拾遗郭求为他申辩，结果被罢免学士，韦贯之又被贬出京城为湖南观察使。弟弟虢州刺史韦纁也被贬，韦顗、李正辞、薛公干、李宣、礼部考功员外郎韦处厚、户部员外郎崔韶、京兆少尹李建都因和韦贯之相善，都被张宿诬陷为韦贯之的党羽，被贬出京城为州刺史。韦处厚早年为韦贯之所看重，他和韦顗、李正辞都是清正之人，却因此被贬，朝内外开始大恨张宿。裴垍、韦贯之、李绛、崔群、萧俛都是韦顗的布衣