将岳父韦玄贞提拔为侍中，遭到宰相裴炎的反对。李显怒下说：「朕即使把天下都给韦玄贞，又有何不可？还在乎一个侍中吗？」武则天以此为借口将唐中宗废黜为庐陵王，韦玄贞亦因而遭流放至钦州，不久逝世。妻子崔氏被钦州首领宁承基兄弟所杀。四子韦洵、韦浩、韦洞和韦泚也都在容州被宁所杀。另有两女，逃窜获免。705年（神龙元年）三月，追赠其为太师、雍州牧、益绵梓隆等十一州诸军事、益州大都督、上柱国，谥号献惠；同年四月，加赠为上洛郡王，又追赠酆王。