。左右警告他这样会招祸，他答道：“生死吉凶是命定的。大丈夫岂能折节曲事皇帝的近戚以求免祸？”不久，被武后宠信的酷吏周兴、来子珣等诬告为死罪。韦方质与宰相苏良嗣素来不合，攀诬苏良嗣，武后特意保苏良嗣无罪。韦方质流放儋州，家产籍没。九月，武太后夺睿宗位，自建周朝称帝。十月，韦方质在流放中被杀。武则天被神龙政变推翻，为睿宗兄唐中宗所取代后，景龙四年（710年），韦方质得到昭雪，复官爵。