门之变中皇太子李建成被弟弟秦王李世民（后为唐太宗）所杀，韦云起时任益州行台兵部尚书，与长官行台仆射窦轨互相疑忌，窦轨怀疑韦云起是李建成一党，在政变后不久杀了韦云起。韦方质的父亲韦师实后来也成为唐朝官员，唐睿宗第一次登基时的垂拱初年，官至华州刺史、太子（李成器）少詹事，封扶阳郡公。
为相.韦方质本人早期仕途不详。曾任太子舍人。新都尉卢照邻因病辞官客居东龙门山，韦方质与同僚裴瑾之、左史范履冰、水部员外郎独孤思庄、少府丞舍人内供奉阎知微、符玺郎乔侃等写信问其疾病，并时时供其衣服财帛和药物