生，早年居住在摆花街用木兴建的楼宇，有三姊二妹一弟。父亲在皇后大道中经营建筑（购买地皮兼兴建楼宇）公司，其中一名叔叔于东华东院当医生。卢的家庭背景富裕，有两名妈姐照顾起居饮食。他曾就读香港真光幼稚园、圣贞德小学（小一至小二）、岭南小学（小二至小六）和香港华仁书院（中一至中五）。就读小二期间曾遇上严重交通意外，以致往后记忆力较差。直至中学阶段，其父亲认为岭南学校的英文教育水平不高，于是安排他入读香港华仁书院。未几父亲的离世令卢家道中落，卢雄的家境大不如前，于是促使他靠摄影与沖晒西方明星海报赚取生活费。卢雄在校