隋文帝开皇元年（581年），担任骠骑将军。开皇九年（589年）、参与灭陈之战，因功绩进位大将军。历任郴州刺史、江州刺史，有能干的名声。仁寿年间，因事件连坐免官。仁寿四年（604年），隋文帝死后，汉王杨谅造反，隋炀帝准备征发幽州之兵讨伐乱军。幽州总管是窦抗，炀帝怀疑窦抗有二心，向杨素征求其他人选。杨素推荐李子雄，李子雄任大将军、廉州刺史，入幽州。窦抗带领二千骑兵拜访李子雄，李子雄埋下伏兵抓住了窦抗，掌握幽州兵权。动员幽州兵三万，讨伐杨谅。杨谅派大将军刘建经略河北。李子雄率幽州兵在抱犊山下会战刘建，将他击败