祖父韦材，隋朝仪同三司、左武候骠骑将军、坊州刺史、恒安县开国伯。父韦弘表，隋左千牛、唐游击将军、曹王府典军。韦玄贞原为普州（今四川省安岳县）参军。调露中（680年），其女韦氏成为太子妃，即唐中宗第二位妻子。于唐中宗即位之时，升任为豫州（今河南省汝南县）刺史。唐中宗继位后打算建立一支自己的力量与母亲武则天抗衡，他的主要支持人是他的妻子韦皇后外戚。他打算将岳父韦玄贞提拔为侍中，遭到宰相裴炎的反对。李显怒下说：「朕即使把天下都给韦玄贞，又有何不可？还在乎一个侍中吗？」武则天以此为借口将唐中宗废黜为庐陵王，韦