二年（580年），李子雄在韦孝宽属下讨伐尉迟迥，受位上开府，封爵建昌县公。隋文帝开皇元年（581年），担任骠骑将军。开皇九年（589年）、参与灭陈之战，因功绩进位大将军。历任郴州刺史、江州刺史，有能干的名声。仁寿年间，因事件连坐免官。仁寿四年（604年），隋文帝死后，汉王杨谅造反，隋炀帝准备征发幽州之兵讨伐乱军。幽州总管是窦抗，炀帝怀疑窦抗有二心，向杨素征求其他人选。杨素推荐李子雄，李子雄任大将军、廉州刺史，入幽州。窦抗带领二千骑兵拜访李子雄，李子雄埋下伏兵抓住了窦抗，掌握幽州兵权。动员幽州兵三万，