载元年（695年），武则天不满李昭德，贬之。另一宰相检校凤阁侍郎周允元与司刑少卿皇甫文备上表弹劾韦巨源等五宰相不能匡正李昭德。五人都被贬为刺史，其中韦巨源被贬为鄜州刺史。久视元年（700年）十一月，又被召回拜地官尚书，十二月又在文昌左丞任上被拜为宰相之职纳言。年末，因韦巨源堂叔文昌右丞韦安石被拜为鸾台侍郎、同平章事，武则天不喜欢同一家族有多名宰相，罢韦巨源相位。武则天幸西京长安监造母杨氏陵墓，任韦巨源为神都洛阳留守。长安二年（702年），武则天召韦巨源赴长安，以副留守李峤代之。转刑部尚书，加太子宾客。武则天