被贬为刺史，其中韦巨源被贬为鄜州刺史。久视元年（700年）十一月，又被召回拜地官尚书，十二月又在文昌左丞任上被拜为宰相之职纳言。年末，因韦巨源堂叔文昌右丞韦安石被拜为鸾台侍郎、同平章事，武则天不喜欢同一家族有多名宰相，罢韦巨源相位。武则天幸西京长安监造母杨氏陵墓，任韦巨源为神都洛阳留守。长安二年（702年），武则天召韦巨源赴长安，以副留守李峤代之。转刑部尚书，加太子宾客。武则天回洛阳，以韦巨源为西京留守。
唐中宗年间.神龙元年（705年），武则天被政变推翻，其子曾在嗣圣元年（684