韦处仁八世祖韦鸿胄，北周仪同三司、本州大都督、新丰昭公。七世祖韦澄，字清仁，绵州刺史、彭城敬公。六世祖韦兢，初名庆俨，库部员外郎。高祖父韦巨山；曾祖父韦元晨，殿中侍御史；祖父韦涵；父亲韦颢，洋州刺史。韦处仁娶唐穆宗李恒之女义丰公主，拜驸马都尉。唐文宗大和三年（829年），唐文宗崇尚俭朴，驸马韦处仁头戴夹罗巾，文宗对他说：“朕羡慕你家门第清高素雅，所以，挑选你做驸马。像这样贵重的头巾，让那些达官贵戚去戴，你最好不要戴。”开成元年（836年）五月，驸马都尉韦处仁为左散骑常侍，众以为不可，给事中封驳，于是改任