武承嗣、武三思已用事，连宰相都要下拜他们。当年韦方质患病，一月，武承嗣和武三思去看他，他在床上不行礼。左右警告他这样会招祸，他答道：“生死吉凶是命定的。大丈夫岂能折节曲事皇帝的近戚以求免祸？”不久，被武后宠信的酷吏周兴、来子珣等诬告为死罪。韦方质与宰相苏良嗣素来不合，攀诬苏良嗣，武后特意保苏良嗣无罪。韦方质流放儋州，家产籍没。九月，武太后夺睿宗位，自建周朝称帝。十月，韦方质在流放中被杀。武则天被神龙政变推翻，为睿宗兄唐中宗所取代后，景龙四年（710年），韦方质得到昭雪，复官爵。