华富邨内经营小型塑胶厂生意，后因婚外情而离弃儿女及妻子，致使韦家三兄弟妹与母亲生活很快变得困顿，更要一度寄居在九龙土瓜湾的舅父家中。住了一段时间便获政府分配徙置区单位，安排移居山谷道邨。韦家雄毕业于基督教香港信义会红磡信义学校、孔仲岐纪念中学及威灵顿英文中学尖沙咀分校，惟读至中六便离校。他为帮补家计，13岁已于每天凌晨在一间小型酒楼（地痞馆）里卖点心到下午才上学，同时亦学习制作面包以增加收入。
入行经过与发展.韦家雄入行前曾任广告摄影师；在酒楼做非法童工期间认识了一位朋友，介绍