制作人韦家辉胞弟。他小时候曾居住在香港岛华富邨，并就读邨内广悦堂基悦小学的下午校；当时未成为新闻主播的苏凌峰为其训导主任。他的父亲是一名商人，在华富邨内经营小型塑胶厂生意，后因婚外情而离弃儿女及妻子，致使韦家三兄弟妹与母亲生活很快变得困顿，更要一度寄居在九龙土瓜湾的舅父家中。住了一段时间便获政府分配徙置区单位，安排移居山谷道邨。韦家雄毕业于基督教香港信义会红磡信义学校、孔仲岐纪念中学及威灵顿英文中学尖沙咀分校，惟读至中六便离校。他为帮补家计，13岁已于每天凌晨在一间小型酒楼（地痞馆）里卖点心到下午才上学