三年（694年），转夏官侍郎，仍同平章事。韦巨源有吏才，谨慎复查省内文案并予以纠正，虽然为下属所怨，还是纠正了他们的不少错误。韦巨源、豆卢钦望、陆元方、苏味道、杜景俭五位宰相等曲从权相内史李昭德。延载元年（695年），武则天不满李昭德，贬之。另一宰相检校凤阁侍郎周允元与司刑少卿皇甫文备上表弹劾韦巨源等五宰相不能匡正李昭德。五人都被贬为刺史，其中韦巨源被贬为鄜州刺史。久视元年（700年）十一月，又被召回拜地官尚书，十二月又在文昌左丞任上被拜为宰相之职纳言。年末，因韦巨源堂叔文昌右丞韦安石被拜为鸾台侍郎、同