十二月又在文昌左丞任上被拜为宰相之职纳言。年末，因韦巨源堂叔文昌右丞韦安石被拜为鸾台侍郎、同平章事，武则天不喜欢同一家族有多名宰相，罢韦巨源相位。武则天幸西京长安监造母杨氏陵墓，任韦巨源为神都洛阳留守。长安二年（702年），武则天召韦巨源赴长安，以副留守李峤代之。转刑部尚书，加太子宾客。武则天回洛阳，以韦巨源为西京留守。
唐中宗年间.神龙元年（705年），武则天被政变推翻，其子曾在嗣圣元年（684年）短暂为帝的李显复位，即唐中宗。韦巨源入拜工部尚书，封同安县子。七月，迁吏部尚书，授