喜欢同一家族有多名宰相，罢韦巨源相位。武则天幸西京长安监造母杨氏陵墓，任韦巨源为神都洛阳留守。长安二年（702年），武则天召韦巨源赴长安，以副留守李峤代之。转刑部尚书，加太子宾客。武则天回洛阳，以韦巨源为西京留守。
唐中宗年间.神龙元年（705年），武则天被政变推翻，其子曾在嗣圣元年（684年）短暂为帝的李显复位，即唐中宗。韦巨源入拜工部尚书，封同安县子。七月，迁吏部尚书，授同中书门下三品，拜相，进封郇县伯。当时朝廷缺乏要员，韦巨源主事除十人官职，其一为检校中书令杨再思，杨再思问其